엔트로피 추론의 통합적 접근

초록

본 튜토리얼은 엔트로피 기반 추론의 기본 논리를 검토한다. 정보의 인식론적 의미와 합리적 행위자의 베이즈 신념을 연결하고, 사전 확률을 사후 확률로 갱신하는 과정을 소거적 귀납법으로 전개한다. 그 결과 로그 상대 엔트로피가 유일한 추론 도구임을 증명하고, 최대 상대 엔트로피(ME) 방법이 MaxEnt와 베이즈 규칙을 모두 포함하는 일반화된 프레임워크임을 제시한다.

상세 분석

이 논문은 정보 이론과 베이즈 통계학을 하나의 일관된 추론 체계로 결합하려는 시도를 체계적으로 전개한다. 먼저 저자는 “정보”를 “합리적 행위자의 믿음을 변화시키는 제약”으로 정의한다. 이는 전통적인 샤논 정보량이 통신 효율에 초점을 맞추는 것과 달리, 인식론적 관점에서 ‘무엇을 알게 되는가’를 강조한다는 점에서 의미가 깊다. 이러한 정의는 베이즈주의와 자연스럽게 연결된다. 베이즈주의에서는 새로운 증거가 주어졌을 때 사전 확률을 사후 확률로 업데이트하는 규칙을 제공한다. 그러나 어떤 형태의 업데이트가 ‘합리적’인지에 대한 근본적인 기준은 명시적으로 제시되지 않는다.

논문은 이 빈칸을 메우기 위해 소거적 귀납법(eliminative induction)을 도입한다. 가능한 모든 업데이트 규칙을 후보 집합으로 두고, 일관성, 좌표 변환 불변성, 독립성 등 일련의 공리적 요구조건을 차례로 적용한다. 이 과정에서 로그 상대 엔트로피 (S