엔트로피 사전으로 보는 베이지안 모델 선택의 새로운 시각

본 논문은 베이지안 모델 선택에서 사전 확률을 지정하는 어려움을 ‘최대 상대 엔트로피(Maximum Relative Entropy, ME)’ 원리를 통해 완화하는 새로운 프레임워크를 제시한다. 서론에서는 베이지안 모델 선택이 사전 확률 P(H)와 증거 P(D|H) 에 크게 의존함을 강조하고, 특히 파라미터 사전 p(θ|H) 의 지정이 주관적 판단에 좌우된다는 점을 비판한다. 저자들은 이러한 주관성을 줄이기 위해 ‘데이터에 대한 사전 예측 분포(p₀(D))’를 먼저 정의하고, 이후 샘플링 분포 p(D|θ) 가 주어졌을 때 ME 원리를 적용해 사전 p₁(θ) 를 업데이트한다. ME 업데이트는 KL 발산을 최소화하는 방식으로, 수식적으로는 p₁(θ) ∝ p₀(θ)·exp