온라인·분산 가우시안 혼합 모델 학습을 위한 베이지안 모멘트 매칭

본 논문은 빅데이터 시대에 등장한 스트리밍 데이터와 다중 프로세서 환경에서 가우시안 혼합 모델(Gaussian Mixture Model, GMM)의 파라미터를 효율적으로 추정하기 위한 새로운 방법론, ‘베이지안 모멘트 매칭(Bayesian Moment Matching, BMM)’을 제시한다. 기존의 배치형 EM(Expectation‑Maximization) 알고리즘은 전체 데이터를 한 번에 사용해 파라미터를 최적화하지만, 데이터 규모가 커지면 메모리와 연산량이 급증한다. 이를 해결하기 위해 온라인 EM 변형들이 제안되었으나, 이들 방법은 E‑step을 확률적 근사로 수행해 수렴 속도가 느리고, 특히 스트리밍 상황에서 단일 패스만 허용될 경우 정확도가 크게 저하되는 문제가 있다. 또한, 온라인 EM은 순차적인 업데이트 구조 때문에 여러 프로세서에 분산하기가 어렵다. 베이지안 관점에서 파라미터 Θ에 대한 사전분포 P₀(Θ)를 설정하고, 관측 xₙ이 들어올 때마다 베이즈 정리를 적용해 사후분포 Pₙ(Θ)∝Pₙ₋₁(Θ)·p(xₙ|Θ)로 갱신한다. 여기서 사전은 Dirichlet(가중치 w)와 Normal‑Wishart(각 성분의 평균 μ와 정밀도 Λ)들의 곱 형태로 선택한다. 이 조합은 GMM의 likelihood와 공액(conjugate) 관계에 있어 계산이 편리하지만, 새로운 관측이 추가될 때마다 사후분포는 M개의 새로운 혼합 항을 생성한다. N개의 관측이 누적되면 사후는 Mᴺ개의 항을 갖는 거대한 혼합 분포가 되며, 이는 저장과 연산이 불가능한 수준이다. BMM은 이러한 지수적 폭발을 억제하기 위해 ‘모멘트 매칭’이라는 기법을 도입한다. 사후분포 Pₙ(Θ)의 충분통계(sufficient statistics)를 구성하는 모멘트 집합 S(f)를 정의하고, 이 모멘트와 동일한 값을 갖는 단일 트랙터블 분포 ˜Pₙ(Θ)=f(Θ|Φ)를 찾는다. 여기서 f는 사전과 같은 Dirichlet‑Normal‑Wishart 가족이며, Φ는 해당 가족의 파라미터 벡터이다. 모멘트 매칭은 각 모멘트를 기대값 형태로 표현하고, 이를 역으로 파라미터 Φ에 대한 식으로 풀어낸다. 예를 들어 Dirichlet의 경우 E