최대 엔트로피와 베이즈 추론의 통합: 최적 정보 원리

초록

본 논문은 제이슨의 가능성 추론 공리를 수정하여 ‘최적 정보 원리’를 제시한다. 이 원리를 통해 최소 상대 엔트로피 원칙, 베이즈 정리, 그리고 최대우도 추정을 최초 원리에서 유도한다. 불완전한 정보 상황에서 왜 엔트로피를 최대화해야 하는지를 논리적으로 설명한다.

상세 분석

이 연구는 정보 이론과 베이즈 통계학 사이의 오래된 괴리를 해소하려는 시도로, 제이슨(E. T. Jaynes)의 ‘가능성 추론’ 공리를 재구성한다. 기존 공리 체계는 ‘일관성’, ‘대칭성’, ‘연속성’ 등을 전제로 하지만, 실제 의사결정 상황에서는 데이터와 배경지식이 동시에 제공될 때의 처리 메커니즘이 명시적으로 포함되지 않는다. 저자는 이를 보완하기 위해 세 가지 새로운 공리를 도입한다. 첫째, 정보 보존 공리는 새로운 데이터가 주어질 때 기존 확률 분포가 가능한 한 적게 변하도록 요구한다; 이는 최소 상대 엔트로피(KL 발산 최소화)와 직접 연결된다. 둘째, 조건부 일관성 공리는 조건부 확률이 동일한 배경 정보 하에서 동일하게 유지되어야 함을 명시한다. 이는 베이즈 정리의 핵심인 사후 확률이 사전·우도·정규화 상수의 곱으로 표현되는 구조를 자연스럽게 도출한다. 셋째, 최대 가능도 공리는 관측된 데이터가 주어졌을 때 파라미터 추정이 데이터에 대한 로그우도의 합을 최대화하도록 강제한다. 이 세 공리를 통합한 ‘최적 정보 원리(Optimum Information Principle, OIP)’는 “주어진 정보와 배경지식이 모두 고려된 상태에서 가능한 한 적은 추가 가정을 도입한다”는 메타 원칙을 제공한다.

논문은 OIP를 수학적으로 정형화하고, 이를 통해 최소 상대 엔트로피 원칙을 (P^* = \arg\min_{P\in\mathcal{C}} D_{\mathrm{KL}}(P|Q)) 형태로 증명한다. 여기서 (\mathcal{C})는 제약조건(예: 기대값) 집합이며, (Q)는 사전 분포이다. 이어서 베이즈 정리를 (P(\theta|D) = \frac{P(D|\theta)P(\theta)}{P(D)}) 로 유도하는 과정에서는, 데이터 (D)가 새로운 제약조건으로 작용함을 보여 주며, 사전 (P(\theta))와 사후 (P(\theta|D)) 사이의 KL 발산이 데이터에 대한 로그우도와 동일함을 증명한다. 마지막으로, 파라미터 (\theta)를 선택할 때 OIP는 로그우도 합을 최대화하는 (\hat{\theta}_{\mathrm{MLE}})를 자연스럽게 도출한다.

이러한 일관된 프레임워크는 기존에 별도로 다루어졌던 ‘엔트로피 최대화’, ‘베이즈 업데이트’, ‘최대우도 추정’이 사실은 같은 최적화 원칙의 다양한 표현임을 보여준다. 특히, 불완전 정보(제약조건만 알려진 경우)와 완전 정보(전체 데이터가 주어진 경우)를 동일한 수학적 구조 안에서 처리함으로써, “왜 엔트로피를 최대화해야 하는가?”라는 근본적인 질문에 ‘정보 손실을 최소화한다’는 명확한 답을 제공한다. 또한, OIP는 정보 이론적 관점에서 사전 선택의 객관성을 보장하고, 베이지안 모델 선택에서 과적합을 방지하는 정규화 효과를 내포한다는 점에서 실용적 의미도 크다.