경험적 데이터와 사전 확률의 최소 발산 업데이트: 헬링거 거리와 이차 브레그만 발산의 비교

이 논문은 사전 확률분포 \(\mu\)와 새로운 관측으로부터 얻은 경험적 확률분포 \(\{p_{\text{emp},i}\}\) 사이의 갱신 문제를 두 가지 정보 이론적 발산을 최소화하는 관점에서 다룬다. 먼저, 확률 공간 \((X,\mu)\)를 정의하고, 관측을 통해 파티션 \(\{O_i\}_{i=1}^n\)와 각 구간의 경험적 확률 \(p_{\text{emp},i}\)를 얻는다. 목표는 사전 측도와 가능한 사후 측도 \(\nu\) 사이의 거리(또는 발산)를 최소화하면서, \(\nu\)가 경험적 마진을 정확히 재현하도록 하는 것이다. **1. 헬링거 거리 기반 업데이트** 제곱 헬링거 거리 \(D_2(\sigma\|\mu)=\frac12\int (\sqrt{d\sigma/dx}-\sqrt{d\mu/dx})^2dx\)를 사용한다. 파티션 \(\{O_i\}\)에 대해 사전 조건부 측도 \(\mu_i\)를 정의하고, 후보 사후 측도 \(\sigma=\sum_i p_{\text{emp},i}\sigma_i\)를 고려한다. Lemma 3.2와 3.3을 통해 피타고라스 관계와 Pythagorean theorem 형태를 증명하고, Proposition 3.1에서 기대값 관점의 최소화 조건을 도출한다. 결과적으로, 최소화는 모든 구간에서 \(\sigma_i=\mu_i\)일 때 달성되며, 사후 측도는 \