몬티 홀 문제와 확률의 교훈: 재활용 오류와 심리적 함의

초록

제이슨 로젠하우스의 『몬티 홀 문제』를 중심으로, 전통적인 3문제 버전과 다양한 변형을 베이즈적 관점에서 재검토한다. 전통 해법인 ‘스위치가 유리’라는 결론을 수학적으로 확립하고, 호스트의 행동 규칙이 바뀔 때 확률이 어떻게 변하는지 설명한다. 또한 저자가 저서에서 무심코 남긴 것으로 보이는 오류를 지적한다.

상세 분석

본 논문은 로젠하우스의 저서를 베이즈 정리를 활용해 체계적으로 해석한다. 기본 설정은 세 개의 문 중 하나에 차가 숨겨져 있고, 나머지는 염소가 있다. 참가자가 처음 선택한 문을 A라 하고, 진행자(몬티)가 염소가 있는 다른 문 B를 열었다고 가정한다. 여기서 핵심은 진행자의 선택이 무작위가 아니라 ‘항상 염소가 있는 문을 연다’는 규칙이다. 베이즈식
P(차가 A|진행자가 B를 열었다) = P(진행자가 B를 열었다|차가 A)·P(차가 A) / P(진행자가 B를 열었다)
를 적용하면, 초기 사전 확률 P(차가 A)=1/3, P(차가 C)=2/3이며, 진행자가 B를 열 확률은 차가 A일 때는 1, 차가 C일 때는 0이다. 따라서 조건부 확률은 P(차가 A|B열림)=1/3, P(차가 C|B열림)=2/3이 된다. 즉, 스위치하면 승률이 2/3, 머무르면 1/3이다.

변형 사례로는 (1) 진행자가 무작위로 문을 열지만 염소가 나올 경우에만 열고, 염소가 나오면 다시 선택을 요구하는 경우, (2) 문이 네 개 이상인 일반화, (3) 진행자가 차를 숨긴 문을 열 수도 있는 경우 등이 있다. 각 경우마다 사전 확률과 조건부 확률을 재정의하면 승률이 달라진다. 예를 들어 네 문 중 하나에 차가 있을 때 처음 선택 후 진행자가 두 개의 염소 문을 연다면, 스위치하면 승률은 3/4이 된다.

심리적 측면에서는 ‘전환 비용’과 ‘확증 편향’이 참가자의 선택에 미치는 영향을 논한다. 사람들은 직관적으로 1/2이라고 생각하지만, 이는 ‘조건부 확률을 무시한’ 직관적 오류다. 로젠하우스는 이러한 인지적 함정을 ‘확률적 직관의 함정’이라 명명하고, 교육적 함의를 제시한다.

논문은 또한 저자가 저서에서 제시한 한 예시—‘진행자가 차가 있는 문을 열 가능성이 1/2이다’라는 주장—가 실제 모델에서는 성립하지 않음을 지적한다. 이는 진행자의 선택 규칙을 명확히 정의하지 않은 채 확률을 전이시킨 오류로, 베이즈식 적용 시 사전 확률과 조건부 확률을 혼동한 결과이다. 이 오류는 독자에게 혼란을 줄 수 있으므로, 정확한 조건 설정이 필수임을 강조한다.