통계적 지수분포 패밀리 한눈에 보기

초록

이 문서는 통계학에서 광범위하게 사용되는 지수족(Exponential Family) 분포들의 정의, 주요 성질, Bregman 발산과의 쌍대성, 그리고 Fisher‑Rao 및 정보기하학적 구조를 간결히 정리한다. 각 분포별 파라미터 분해와 정규화 상수, 기대값·분산·공분산 등 핵심 식을 플래시 카드 형식으로 제공하여 학습 및 참고용으로 활용한다.

상세 분석

지수족은 확률밀도함수 혹은 질량함수를 (p(x;\theta)=h(x)\exp{\langle\theta,T(x)\rangle-A(\theta)}) 형태로 표현할 수 있는 분포군으로, 여기서 (\theta)는 자연 파라미터, (T(x))는 충분통계, (A(\theta))는 로그 정규화 상수(누적 생성함수)이다. 이 정의는 두 가지 중요한 구조적 장점을 제공한다. 첫째, 로그우도는 (\theta)에 대해 선형 형태와 (A(\theta))의 볼록함수 차이로 분해되므로 최적화와 추정이 수학적으로 간결해진다. 둘째, 충분통계 (T(x))가 데이터의 모든 정보량을 압축한다는 충분성 정리(sufficiency theorem)가 성립한다.

논문은 이러한 정의를 바탕으로 Bregman 발산과의 쌍대성을 강조한다. Bregman 발산 (D_{\phi}(u|v)=\phi(u)-\phi(v)-\langle\nabla\phi(v),u-v\rangle)에서 (\phi)를 (A(\theta))의 공액함수(conjugate)로 두면, 두 지수족 분포 사이의 KL 발산이 정확히 Bregman 발산으로 표현된다. 이는 정보기하학에서 dually flat 구조를 형성하며, (\theta)와 기대 파라미터 (\eta=\mathbb{E}_{\theta}