지수족을 통한 체노프 정보의 정확한 계산과 효율적 근사

본 논문은 베이지안 2‑클래스 분류에서 최적 MAP 규칙이 달성하는 최소 오류 확률 \(E^\ast\) 를 상한하는 체노프 경계의 계산 문제를 다룬다. 전통적인 체노프 계수 \(c_\alpha(p:q)=\int p^\alpha(x)q^{1-\alpha}(x)dx\) 를 직접 구하는 것이 대부분의 실용적인 확률분포에 대해 계산적으로 비현실적이라는 점을 지적하고, 이를 해결하기 위해 지수족(Exponential Family)이라는 통계적 프레임워크를 활용한다. 지수족은 자연 파라미터 \(\theta\) 와 로그 정규화 함수 \(F(\theta)\) 로 정의되며, 확률밀도는 \(p(x;\theta)=\exp\{\langle t(x),\theta\rangle-F(\theta)+k(x)\}\) 형태를 가진다. 저자는 먼저 KL 발산이 같은 지수족 내에서 Bregman 발산 \(B_F\) 로 표현된다는 기존 결과를 상기한다. 이어서 체노프 \(\alpha\)-다이버전스 \(C_\alpha(p:q)=-\log c_\alpha(p:q)\) 를 전개하면, \