가우시안 혼합 모델에서 디리클레와 포츠 선택의 의미

초록

가우시안 혼합 모델로 데이터 분포를 모델링할 때 두 가지 접근법이 있다. 첫 번째는 전통적인 방법으로, 비율, 평균, 분산을 직접 파라미터로 사용한다. 두 번째는 각 데이터에 대해 이산값을 갖는 숨은 변수를 도입하고, 그 숨은 변수의 확률을 비율로 해석하는 방식이다. 첫 번째 경우 비율이 1로 합해야 함을 반영하기 위해 일반적으로 디리클레 사전분포를 사용한다. 두 번째 경우, 숨은 변수에 대해 (a) 독립동일분포(i.i.d.)를 가정하면 이 스킴이 디리클레 사전분포를 갖는 전통 혼합 모델과 동등함을 보인다. (b) 마코프 구조를 가정하면 가장 단순한 마코프 모델인 포츠 분포를 선택한다. 이미지의 픽셀을 대상으로 숨은 변수가 이미지 분할을 나타내는 경우, 포츠 모델이 보다 적합함을 확인한다. 본 논문의 주요 목적은 이러한 모델들의 세부 구조와 시뮬레이션 및 파라미터 추정에 사용되는 다양한 알고리즘을 소개하는 데 있다.

키워드: 가우시안 혼합 모델, 디리클레, 포츠, 분류, 이미지 분할

상세 요약

본 논문은 가우시안 혼합 모델(Gaussian Mixture Model, GMM)을 구성할 때 두 가지 근본적인 설계 선택을 비교·분석한다. 첫 번째 설계는 전통적인 파라미터화 방식으로, 각 컴포넌트의 비율( mixing proportion ), 평균, 공분산을 직접 파라미터로 두고 베이즈 추론을 수행한다. 이때 비율 파라미터는 0과 1 사이의 값을 가져야 하며 전체 합이 1이어야 하므로, 자연스럽게 단순하고 해석이 쉬운 디리클레(Dirichlet) 사전분포가 적용된다. 디리클레는 다항분포의 공액 사전으로, 베이즈 업데이트 과정에서 수학적으로 편리함을 제공한다.

두 번째 설계는 숨은 변수( hidden variable )를 도입한다. 각 관측값 x_i 에 대해 숨은 변수 z_i ∈ {1,…,K} 를 두고, z_i 가 특정 컴포넌트를 선택하는 확률을 비율 π_k 로 모델링한다. 여기서 π_k 자체는 파라미터가 아니라 z_i 들의 분포를 정의하는 확률 질량 함수이다. 논문은 이 접근을 다시 두 경우로 나눈다. 첫 번째는 z_i 들이 서로 독립이며 동일한 다항분포를 따른다고 가정하는 경우이다. 이 가정 하에서는 z_i 들의 집합이 디리클레-다항 모델과 동등함을 보이며, 따라서 기존 디리클레 기반 GMM과 완전히 동일한 통계적 특성을 갖는다.

두 번째는 z_i 들 사이에 공간적 혹은 시간적 상관관계를 부여하는 마코프 구조를 도입하는 경우이다. 이미지와 같이 이웃 픽셀 간에 강한 연속성이 기대되는 데이터에서는 독립 가정이 비현실적이다. 저자는 가장 단순한 마코프 랜덤 필드인 포츠(Potts) 모델을 선택한다. 포츠 모델은 이웃 픽셀 간에 동일한 라벨을 가질 확률을 높이는 에너지 함수를 정의함으로써, 영역 경계가 부드럽고 의미 있는 세그멘테이션을 유도한다. 이는 특히 이미지 분할 작업에서 잡음에 강하고, 인간이 인식하는 형태학적 구조와 잘 맞는다.

알고리즘적 측면에서 논문은 두 모델에 대해 마르코프 체인 몬테 카를로(MCMC), 변분 베이즈(VB), 그리고 기대값 최대화(EM) 등 다양한 추정 기법을 제시한다. 디리클레 기반 모델은 EM이 빠르고 구현이 간단하지만, 포츠 기반 모델은 MCMC나 그래프 컷(Graph Cut)과 같은 전역 최적화 기법이 필요하며 계산 비용이 크게 증가한다. 그러나 포츠 모델이 제공하는 공간적 일관성은 이미지 처리 분야에서 품질 향상이라는 실질적 이득을 가져온다.

요약하면, 데이터가 독립적인 경우에는 전통적인 디리클레 사전이 충분히 효율적이며, 데이터가 공간적 연관성을 갖는 이미지와 같은 경우에는 포츠 모델이 더 적합하다. 연구자는 두 접근법의 수학적 등가성, 모델링 유연성, 그리고 실제 적용 시의 트레이드오프를 명확히 제시함으로써, 연구자와 실무자가 문제 특성에 맞는 모델을 선택하도록 돕는다.