베이지안 신념 근사의 최적 손실함수: KL 발산의 올바른 순서와 의미

본 논문은 베이지안 통계에서 확률분포 p(s)를 “신념”으로 해석하고, 실제 계산이나 통신 제약으로 인해 이를 근사 q(s)로 전달해야 하는 상황을 다룬다. 저자는 근사의 질을 정량화하기 위해 손실함수 L(q,m,s₀) 을 도입하고, 두 가지 핵심 공리를 설정한다. 첫 번째 공리인 “지역성”은 손실이 관측된 사건 s₀에 대해 q가 할당한 확률 q(s₀)만을 사용하도록 제한한다. 이는 베이지안 업데이트가 실제 관측값에만 의존한다는 원칙과 일치한다. 두 번째 공리인 “실제 신념의 최적성”(Properness)은 모든 가능한 근사분포 집합 X 중에서 기대 손실을 최소화하는 분포가 반드시 원본 신념 p와 동일해야 함을 요구한다. 이 두 공리를 수학적으로 전개하면, 손실함수는 정규화된 확률분포에 대해 라그랑주 승수를 도입한 뒤 ∂L/∂x = –λ x 라는 미분 방정식을 만족한다. 여기서 x = p(s)/m(s)이며, m 은 좌표 독립성을 보장하기 위한 임의의 기준 측도이다. 방정식을 적분하면 L(x) = –C ln x + D 가 도출되고, 상수 C>0, D는 최적화 결과에 영향을 주지 않으므로 무시한다. 따라서 기대 손실은 D_L(q) = –∫p(s) ln