통계적 대칭 발산의 새로운 가족

초록

본 논문은 볼록 함수 생성자를 이용한 Jensen 부등식 기반의 파라메트릭 대칭 정보 거리 패밀리를 제안한다. Shannon 엔트로피를 선택하면 Jeffreys 발산과 Jensen‑Shannon 발산을 동시에 포함하게 되며, 제안된 거리의 평균 최소화를 통해 고유 중심점(centroid)을 효율적으로 계산하는 알고리즘을 설계한다. 실험을 통해 Jeffreys 중심과 Jensen‑Shannon 중심 사이를 매끄럽게 연결하는 연속적인 중심점 군을 확인하였다.

상세 요약

이 연구는 정보 이론에서 핵심적인 두 대칭 발산인 Jeffreys 발산(D_J)과 Jensen‑Shannon 발산(D_JS)을 하나의 통합된 프레임워크 안에 포함시키는 새로운 거리 패밀리를 정의한다는 점에서 의미가 크다. 핵심 아이디어는 볼록 함수 φ(·)를 생성자로 삼아 Jensen 부등식
φ(λp+(1‑λ)q) ≤ λφ(p)+(1‑λ)φ(q)
을 이용해 두 확률 분포 p와 q 사이의 비대칭 Bregman 발산을 대칭화하는 것이다. 구체적으로는
D_φ(p,q)=φ(p)+φ(q)−2φ((p+q)/2)
형태의 대칭 거리 함수를 도입한다. φ가 Shannon 엔트로피 H(·)일 경우 D_φ는 바로 D_JS와 동일해지며, φ가 로그-선형 형태를 취하면 D_φ는 Jeffreys 발산에 수렴한다. 따라서 파라미터 α∈