지수족에서의 레니와 차시 엔트로피 및 발산

초록

본 논문은 지수족에 속하는 확률분포들의 레니와 차시 발산을 일반적인 닫힌 형태로 표현함을 증명하고, 가우시안·멀티노미얼·베타·감마 등 주요 하위족에 대해 레니와 차시 엔트로피를 명시적으로 계산한다.

상세 분석

논문은 먼저 지수족(Exponential family)의 정의를 일반적인 형태
(p_{\theta}(x)=\exp{\langle t(x),\theta\rangle -F(\theta)+k(x)})
로 제시한다. 여기서 (t(x))는 충분통계량, (\theta)는 자연 매개변수, (F(\theta))는 로그 정규화 함수(누적 생성함수)이며, (k(x))는 기저 측정이다. 저자는 이 구조를 이용해 두 분포 (p_{\theta_1})와 (p_{\theta_2}) 사이의 레니 발산 (D_{\alpha}^{R}(p_{\theta_1}|p_{\theta_2}))와 차시 발산 (D_{\alpha}^{T}(p_{\theta_1}|p_{\theta_2}))를 (\alpha)에 대한 함수로 정리한다. 핵심은 로그 정규화 함수가 볼록함수라는 점을 활용해
\