엔트로피 추론의 함정과 패러독스 회피 전략

초록

본 논문은 최대 엔트로피 방법이 적용될 때 발생하는 오류와 패러독스를 네 가지 유형의 제약조건으로 구분하고, 이를 올바르게 인식함으로써 실수를 방지할 수 있음을 강조한다. 특히 표본 평균을 기대값으로 대체하는 위험과 무지 상태를 오해하는 사례를 중심으로, 프리드먼‑쇼미니 역설을 세 면체 주사위와 열역학적 상황에서 재해석한다.

상세 분석

논문은 엔트로피 기반 추론이 “제약조건”이라는 정보 매개체에 크게 의존한다는 점을 출발점으로 삼는다. 저자는 제약을 네 가지 인식론적 유형—(1) 관측된 기대값, (2) 샘플 평균으로 추정된 기대값, (3) 무지(ignorance)를 표현하는 대칭적 제약, (4) 구조적 혹은 물리적 법칙에 의해 강제되는 제약—으로 구분한다. 이 구분이 흐려질 경우, 특히 기대값을 샘플 평균으로 무조건 대체하면 통계적 불확실성을 무시하게 되어 잘못된 사후 분포가 도출된다. 저자는 이를 “샘플-기대값 혼동”이라 명명하고, 베이즈적 사전‑사후 업데이트와 엔트로피 극대화가 서로 충돌할 수 있음을 수학적으로 증명한다.

두 번째 사례는 무지를 표현하는 제약의 오해이다. 완전한 무지 상태를 “모든 가능한 결과가 동일 확률”이라는 균등 분포로 모델링하면, 실제로는 정보가 전혀 없다는 전제와는 다르게 특정 대칭성을 강제한다. 이는 프리드먼‑쇼미니 역설에서 나타나는데, 세 면체 주사위의 경우 “주사위가 공정하다”는 가정과 “주사위가 어떤 면도 선호하지 않는다”는 가정이 동일하게 보이지만, 엔트로피 극대화는 두 가정에 대해 서로 다른 사후를 만든다. 저자는 이 차이를 “무지의 비대칭성”이라고 부르고, 열역학적 맥락에서는 에너지 보존과 엔트로피 증가 법칙 사이의 미묘한 관계를 재조명한다.

핵심 통찰은 제약조건을 설정할 때 그 제약이 실제로 어떤 정보(관측, 추정, 대칭, 물리법칙)를 반영하는지 명확히 구분해야 한다는 것이다. 이를 통해 엔트로피 방법이 “실패”하거나 “패러독스”를 일으키는 상황을 사전에 차단할 수 있다. 또한 저자는 실무에서 제약을 정의할 때 샘플 크기, 측정 오차, 사전 지식 등을 정량적으로 고려하는 절차적 가이드를 제시한다.