베이지안 병합 군집화와 코얼센트 모델

초록

본 논문은 Kingman’s coalescent 라는 확률적 트리 사전분포를 이용해 계층적 군집화를 수행하는 새로운 베이지안 모델을 제안한다. 하향식(agglomerative) 방식의 탐욕적 알고리즘과 순차적 몬테카를로(SMC) 추론 기법을 개발하여 효율적인 학습을 가능하게 하였으며, 문서 군집화와 언어 진화 분석 실험을 통해 기존 방법보다 우수함을 입증한다.

상세 분석

이 연구는 베이지안 관점에서 계층적 군집화를 재구성하는 데 중점을 둔다. 기존의 디리클레 프로세스 기반 트리 모델은 트리 구조에 대한 사전이 제한적이며, 특히 병합 순서를 명시적으로 모델링하기 어렵다는 한계가 있다. 저자들은 이러한 문제를 해결하기 위해 Kingman’s coalescent를 사전분포로 채택한다. 코얼센트는 무한히 큰 개체 집합이 역시간으로 병합되는 과정을 확률적으로 기술하는데, 이는 군집화 트리의 병합 순서를 자연스럽게 정의한다는 점에서 매력적이다.

모델 정의는 두 단계로 이루어진다. 첫째, 트리 구조 T는 코얼센트에 의해 확률적으로 생성된다. 둘째, 각 리프 노드에 대응하는 관측 데이터 x_i는 트리 구조에 조건화된 확률 모델, 예를 들어 가우시안 혼합 모델이나 다항 분포 등으로 생성된다. 베이지안 프레임워크 하에서 사후분포 p(T,θ|X) 를 추정하기 위해 저자들은 두 가지 추론 알고리즘을 제안한다.

첫 번째는 Greedy Agglomerative Inference이다. 이는 전통적인 계층적 군집화와 유사하게, 모든 데이터 포인트를 개별 클러스터로 시작한 뒤, 코얼센트 사전이 부여하는 병합 확률과 데이터 적합도(예: 주변가능도)를 결합한 점수를 기준으로 가장 높은 쌍을 순차적으로 병합한다. 이 과정에서 사전 확률은 병합 시점에 따라 변하는 λ 파라미터(코얼센트의 병합 속도)를 이용해 계산되며, 데이터 적합도는 각 클러스터의 충분통계량을 업데이트하면서 효율적으로 평가된다.

두 번째는 Sequential Monte Carlo (SMC) 방법이다. SMC는 파티클 집합을 유지하면서 각 파티클마다 트리 구조를 점진적으로 확장한다. 파티클 가중치는 코얼센트 사전 확률과 관측 데이터의 조건부 가능도의 곱으로 업데이트되며, 재샘플링 단계에서 가중치가 낮은 파티클은 제거되고 높은 파티클은 복제된다. 이때 저자들은 파티클 간의 다양성을 유지하기 위해 제안 분포를 코얼센트의 사전과 데이터 적합도를 동시에 고려한 형태로 설계하였다. 결과적으로 SMC는 탐욕적 방법이 놓칠 수 있는 다중 모드 사후분포를 탐색할 수 있다.

실험에서는 두 가지 도메인, 즉 텍스트 문서 군집화와 언어 계통학(phylogenetics)에서 모델을 평가한다. 텍스트 데이터에서는 토픽 모델링을 위한 다항 분포를 사용했으며, 코얼센트 기반 군집화는 기존의 베이지안 히에라키컬 디리클레 프로세스(HDPA)와 전통적인 Ward 방법보다 높은 정밀도·재현율·Adjusted Rand Index를 기록했다. 언어 계통학 실험에서는 여러 언어의 어휘 특성을 벡터화한 뒤, 코얼센트 트리를 통해 언어 간 진화 관계를 복원하였다. 결과는 알려진 언어계통 트리와 높은 상관성을 보였으며, 특히 저자들이 제시한 SMC 추론이 복잡한 트리 구조를 더 정확히 재구성하는 데 기여했다.

이 논문의 주요 기여는 (1) Kingman’s coalescent를 베이지안 계층적 군집화의 사전으로 도입함으로써 트리 구조에 대한 보다 유연하고 해석 가능한 확률 모델을 제공한 점, (2) 코얼센트와 데이터 적합도를 동시에 고려한 탐욕적 및 SMC 기반 추론 알고리즘을 설계해 실용적인 계산 효율성을 달성한 점, (3) 다양한 실제 데이터에 적용해 기존 방법 대비 성능 우위를 실증적으로 입증한 점이다. 또한, 코얼센트는 무한 개체 집합에 대한 확률적 병합 과정을 자연스럽게 모델링하므로, 향후 대규모 데이터셋이나 비정형 데이터에 대한 확장 가능성도 기대된다.