정보와 엔트로피 믿음의 업데이트 원리

초록

베이즈적 관점에서 정보는 합리적 에이전트의 믿음을 제약하는 힘이다. 저자는 사전 확률을 사후 확률로 바꾸는 과정을 ‘제거적 귀납’으로 분석하고, 로그 상대 엔트로피가 유일한 업데이트 도구임을 증명한다. 이를 기반으로 만든 최대 상대 엔트로피(ME) 방법은 제약조건이 임의인 경우의 MaxEnt와 사전이 임의인 경우의 베이즈 규칙을 모두 포함한다. 따라서 두 전통적 방법을 하나의 일반적 추론 체계로 통합한다.

상세 분석

논문은 정보의 본질을 “합리적 믿음을 변화시키는 제약”으로 정의한다. 이는 전통적인 통계학에서 정보가 데이터 자체라고 보는 시각과는 달리, 정보가 에이전트의 주관적 확률 분포에 미치는 영향을 중심으로 한다는 점에서 혁신적이다. 저자는 사전 확률 (p(\theta))와 사후 확률 (p(\theta|D)) 사이의 변환을 ‘제거적 귀납(eliminative induction)’이라는 원칙에 따라 정형화한다. 이 과정에서 가능한 모든 업데이트 규칙을 후보 집합으로 두고, 일관성, 좌표 변환 불변성, 부분적 합성성 등 네 가지 합리적 기준을 적용한다. 결과적으로 로그 상대 엔트로피

\