Burbea‑Rao와 Bhattacharyya 중심점 연구

** 본 논문은 정보이론적 거리·발산의 두 주요 클래스인 Bregman 발산과 f‑divergence를 연결하고, 이를 일반화한 Burbea‑Rao 발산에 대한 이론적·알고리즘적 연구를 수행한다. 1. **배경 및 동기** - 유클리드 공간에서의 평균·중심점은 제곱 거리의 최소화 문제로 정의된다. - 확률분포나 비유클리드 공간에서는 대칭·비대칭 발산이 등장하며, 평균을 정의하기 위해 두 가지 접근법(공리화와 최적화)이 존재한다. - f‑divergence와 Bregman 발산은 각각 엔트로피·로그정규화와 볼록 함수의 기울기를 이용해 비대칭성을 갖는 거리 체계를 제공한다. 2. **Burbea‑Rao 발산 정의** - 엄격히 볼록하고 미분 가능한 함수 F 에 대해 \(BR_F(p,q)=\frac{F(p)+F(q)}{2}-F\!\left(\frac{p+q}{2}\right)\) 로 정의한다. 이는 Jensen 차이의 특수 형태이며, Jensen 불평등으로부터 비음성을 보장한다. - 대칭성을 갖지만 삼각 부등식을 만족하지 않아 일반적인 거리(metric)라기보다는 발산(divergence)이다. - 특수 경우 F(x)=−H(x) (Shannon 엔트로피)일 때는 Jensen‑Shannon 발산이 된다. 3. **Skew Burbea‑Rao 발산** - 가중치 α∈(0,1) 을 도입해 \(BR_F^{(α)}(p,q)=αF(p)+(1-α)F(q)-F(αp+(1-α)q)\) 로 정의한다. - α→0 혹은 α→1 일 때는 각각 Bregman 발산 \(B_F(p,q)\) 와 \(B_F(q,p)\) 로 수렴한다. 따라서 Burbea‑Rao 발산은 Bregman 발산의 연속적인 스펙트럼을 형성한다. 4. **Burbea‑Rao 중심점(centroid) 정의 및 성질** - 점 집합 {p_i} 와 가중치 w_i 에 대해 평균 Burbea‑Rao 발산을 최소화하는 점 c 를 \(c = \arg\min_x \sum_i w_i\, BR_F(x,p_i)\) 로 정의한다. - 이 최적화는 볼록‑오목(concave‑convex) 구조를 가지며, CCCP(Concave‑Convex Procedure) 기반의 반복 알고리즘으로 해결한다. - 각 반복 단계는 현재 추정값 x^{(t)} 에 대해 선형화된 볼록 부분을 최소화하고, 오목 부분은 보조 함수로 보정한다. 수렴성은 전통적인 CCCP 이론에 의해 보장된다. - 극단적인 스큐(α→0,1)에서는 Bregman 중심점이 닫힌 형태로 존재하므로, 이를 초기값으로 사용하면 수렴 속도가 향상된다. 5. **Bhattacharyya 거리와 Burbea‑Rao 발산의 동등성** - 동일한 지수족에 속하는 두 확률분포 p_θ, p_η 에 대해 Bhattacharyya 거리 \(D_B(p_θ,p_η) = -\log \int \sqrt{p_θ(x)p_η(x)}dx\) 를 자연 매개변수 θ, η 에 대한 Jensen‑형식 발산으로 변환한다. - 지수족의 로그 정규화 상수 A(θ) 가 볼록 함수 F(θ) 가 되므로, \(D_B(p_θ,p_η)=BR_F(θ,η)\) 가 성립한다. 즉, Bhattacharyya 거리 자체가 Burbea‑Rao 발산의 특수 경우이다. 6. **Bhattacharyya 중심점 계산** - 위 동등성을 이용해 Bhattacharyya 중심점은 Burbea‑Rao 중심점과 동일한 최적화 문제를 푼 결과와 같다. - 일반적인 CCCP 알고리즘을 그대로 적용하면 모든 지수족(다항, 포아송, 감마·베타, 다변량 정규 등)에 대해 효율적인 중심점 계산이 가능하다. - 다변량 정규분포의 경우, 공분산 행렬에 대한 미분을 명시적으로 전개한 맞춤형 업데이트 식을 도출하였다. 이 식은 일반 CCCP보다 연산량이 적고, 수치적으로 더 안정적이다. 7. **실험 및 응용** - 합성 데이터와 실제 컬러 이미지(세그멘테이션)에서 Gaussian Mixture Model을 단순화하기 위해 계층적 군집화와 k‑means를 적용하였다. - Bhattacharyya 중심점을 사용한 경우, 기존 Bregman 중심점 기반 방법에 비해 클러스터링 비용이 평균 8~12% 감소하고, 시각적 품질(경계 선명도, 색상 보존)도 향상되었다. - 알고리즘의 수렴 속도와 메모리 사용량 측면에서도 제안된 일반 CCCP와 맞춤형 가우시안 방법 모두 경쟁력을 보였다. 8. **결론 및 향후 연구** - Burbea‑Rao 발산은 Jensen‑Shannon 발산을 일반화한 강력한 정보‑기하학적 도구이며, 스큐 버전을 통해 Bregman 발산과 자연스럽게 연결된다. - 중심점의 유일성, 효율적 계산 방법, 그리고 Bhattacharyya 거리와의 동등성은 통계·기계학습 분야에서 모델 압축·군집화·대표 샘플링 등에 광범위하게 활용될 수 있다. - 향후 연구로는 비지수족 분포에 대한 확장, 고차원 데이터에서의 스케일링 기법, 그리고 정보‑기하학적 해석을 통한 새로운 거리·발산 설계가 제시된다. **