생성적 측면 모델을 위한 기대전파 기반 고정밀 추론

초록

생성적 측면 모델은 문서마다 단어 확률이 변하는 다항식 모델의 확장형이다. 기존 변분법은 추론 정확도가 떨어지고 학습이 편향될 수 있다. 본 논문은 기대전파(EP)를 이용해 추론을 수행하고, 이를 EM 알고리즘에 결합해 학습 과정을 개선한다. 실험 결과, 합성 및 실제 데이터 모두에서 EP 기반 방법이 변분법보다 높은 정확도와 비슷한 계산 비용을 보였다.

상세 분석

생성적 측면 모델은 각 문서가 여러 “측면”(aspect) 혹은 토픽에 대한 혼합비율을 가지고, 각 측면마다 단어 분포가 정의되는 확률적 모델이다. 이 모델은 라티스 구조를 갖지만, 문서별 혼합비율이 연속형 디리클레 변수이기 때문에 정확한 사후 추론이 거의 불가능하다. 기존 연구(Blei et 2001)는 변분 베이즈 추론을 적용해 하한을 최적화했지만, 하한이 실제 로그우도와 크게 차이 나는 경우가 빈번했다. 특히, 변분 근사는 각 측면의 기여를 독립적으로 처리하면서 상호작용을 과소평가하고, 결과적으로 토픽 분포가 과도하게 평탄해지는 편향이 발생한다.

논문은 이러한 문제점을 해결하기 위해 기대전파(Expectation Propagation, EP)를 도입한다. EP는 각 잠재 변수에 대한 “메시지”를 반복적으로 교환하며, 전체 사후분포를 가우시안(또는 멤버시스) 형태로 근사한다. 핵심 아이디어는 변분법이 최소화하는 KL(p‖q)와 달리 EP가 최소화하는 KL(q‖p)로, 이는 근사분포가 실제 분포의 모드에 더 집중하도록 만든다. 구체적으로, 문서별 디리클레 혼합비율에 대한 사전과 각 단어 관측에 대한 가능도 함수를 각각 팩터화하고, 이 팩터들을 순차적으로 제거·재삽입하면서 순간적인 사후를 업데이트한다. 이 과정에서 각 단계마다 일차 및 이차 모멘트를 맞추어 근사분포를 갱신하므로, 변분법보다 더 정확한 기대값과 분산을 제공한다.

학습 단계에서는 EP로 얻은 근사 사후를 이용해 EM 알고리즘의 E‑step을 수행한다. M‑step에서는 기대값을 기반으로 토픽별 단어분포와 디리클레 하이퍼파라미터를 최대우도 혹은 MAP 방식으로 업데이트한다. EP와 EM을 결합함으로써, 학습 과정 전체가 일관된 근사분포에 의해 안내되어 편향이 최소화된다.

실험에서는 두 가지 시나리오를 검증한다. 첫째, 합성 데이터에서 알려진 토픽과 혼합비율을 복원하는 정확도를 측정했을 때, EP‑EM이 변분‑EM보다 평균 로그우도가 5~10% 향상되었다. 둘째, 실제 뉴스 기사 집합(예: 20 Newsgroups)에서 토픽 일관성 및 문서 분류 정확도를 평가했으며, EP‑EM이 변분 기반 LDA와 비교해 토픽 간 구분도가 높고, 문서 클러스터링 F1 점수가 약 3% 상승했다. 계산 복잡도 측면에서는 EP가 각 반복마다 팩터 업데이트를 수행하지만, 수렴 속도가 빠르고 전체 실행 시간이 변분법과 동등하거나 약간 더 짧았다.

결론적으로, 기대전파는 생성적 측면 모델의 추론 정확도를 크게 개선하면서도 실용적인 계산 비용을 유지한다는 점에서, 변분법을 대체할 강력한 후보로 평가된다. 향후 연구에서는 비정형 데이터(이미지, 소리)와의 결합, 그리고 온라인 EP‑EM 알고리즘 개발이 기대된다.