혼합 모델에서 기대 전파와 확률 편집기의 정확한 분산 추정

본 논문은 잠재 변수와 결합된 혼합 모델에서 정확한 베이즈 추정이 계산적으로 불가능한 상황을 전제로, 두 가지 결정적 근사법인 변분 베이즈(Variational Bayes, VB)와 기대 전파(Expectation Propagation, EP)의 성능을 비교·분석한다. 첫 번째 섹션에서는 베이즈 분석이 지수형 가족과 공액 사전이 존재할 때는 직관적으로 수행될 수 있지만, 잠재 변수(예: 군집 라벨)가 존재하면 사후분포는 복잡한 혼합 형태가 되어 직접 계산이 불가능함을 설명한다. 이를 해결하기 위해 MCMC 기반의 시뮬레이션 방법과 결정적 근사법(VB, EP)이 소개된다. VB는 KL 발산을 최소화하도록 근사분포 q(θ, z) 를 선택하지만, q가 공액 형태의 곱으로 제한되면서 실제 사후가 복합적인 혼합임에도 불구하고 분산을 과소평가한다는 기존 연구 결과를 인용한다. 두 번째 섹션에서는 EP의 기본 아이디어를 상세히 설명한다. EP는 사후를 qθ(θ)=∏i ˜ti(θ) 로 근사하고, 각 ˜ti 를 순차적으로 교체하면서 KL 최소화 혹은 모멘트 매칭을 수행한다. 이 과정은 Assumed Density Filtering(ADF)과 동일한 재귀적 구조를 가지며, 데이터 순서에 무관하게 수렴한다. 특히 공액 가족이 Gaussian인 경우, KL 최소화와 모멘트 매칭이 동등함을 이용해 업데이트 식을 명시적으로 도출한다. 핵심 이론적 결과는 EP의 정밀도(역분산) 업데이트가 관측 하나당 Fisher 정보와 일치한다는 점이다. 일반적인 정규 혼합 모델(평균 μ만 미지)에서 EP가 도출한 정밀도 변화식(식 2)은 실제 Fisher 정보(식 3)와 차이가 O(b) 수준이며, b는 현재 사후의 정밀도이다. 대규모 표본에서는 b가 무한대로 커지면서 O(b) 항이 무시되므로 EP는 정확한 평균과 정확한 분산을 동시에 얻는다. 세부 사례로는 (1) 두 대칭 정규 혼합(N(−μ,1)와 N(μ,1) 혼합)과 (2) 클러터 문제(N(μ,1)와 N(0,10) 혼합)를 분석한다. 두 경우 모두 EP는 사후 평균을 최대우도 추정치와 동일하게 수렴하고, 정밀도는 관측당 Fisher 정보와 일치한다. 반면 VB는 완전 데이터 상황과 동일한 정밀도를 제공해 과도한 확신을 나타낸다. 특히 식 5에서 보듯이 VB의 정밀도는 실제 정보보다 크게 부풀어 오르며, 이는 신뢰구간이 비현실적으로 좁아지는 원인이다. 또한 EP의 변형인 “확률 편집기(Probabilistic Editor)”와의 연관성을 언급한다. 확률 편집기는 EP와 동일한 재귀적 업데이트를 사용하지만, 데이터 순서를 한 번만 통과한다는 차이가 있다. 이와 같은 접근법은 stochastic approximation 이론에 기반해 asymptotic 성질을 보장한다. 마지막으로 EP가 모든 혼합 구조에 대해 보편적으로 성공하는 것은 아니라는 한계를 제시한다. 다변량 혼합, 비공액 사전, 혹은 복잡한 의존 구조가 포함된 경우 추가적인 연구가 필요함을 강조한다. 결론적으로, EP는 변분 베이즈가 갖는 분산 과소평가 문제를 해결할 수 있는 유망한 대안이며, 특히 사후가 Gaussian 형태로 근사 가능한 단순 혼합 모델에서 asymptotic 정확성을 보장한다. 이는 베이즈 추정에서 신뢰구간을 실용적으로 활용하고자 하는 실무자와 이론 연구자 모두에게 중요한 통찰을 제공한다.