희소 후방분포를 활용한 빠른 클러스터·토픽 학습

본 논문은 혼합 모델과 토픽 모델에서 관측치가 하나의 클러스터(또는 토픽)로 할당된다는 기본 가정을 유지하면서, 변분 추론 과정에서 발생하는 ‘밀집 책임값’ 문제를 해결하고자 한다. 전통적인 변분 베이즈(VB)와 EM 알고리즘은 각 데이터 포인트 n에 대해 K개의 클러스터에 대한 책임값 r̂ₙₖ을 모두 계산·저장한다. 이는 K가 수백에서 수천에 달할 경우 메모리 사용량과 연산량이 급증한다는 단점을 가진다. 실제 데이터에서는 대부분의 관측치가 소수의 클러스터에만 의미 있는 확률을 할당하므로, 전체 K개의 값을 모두 유지할 필요가 없다. 이를 해결하기 위해 저자들은 ‘L‑sparse 변분 분포’를 도입한다. 구체적으로, 각 관측치 n에 대해 책임벡터 r̂ₙ는 최대 L개의 비영 원소만을 허용하고, 나머지는 0으로 강제한다. 여기서 L은 1 ≤ L ≤ K 사이의 정수이며, 사용자는 속도와 정확도 사이의 트레이드오프를 L 값으로 조절한다. L = 1이면 전통적인 ‘Hard EM’(k‑means와 동등)과 동일하고, L = K이면 기존 밀집 변분과 동일하다. 알고리즘적 구현은 다음과 같다. 먼저 현재 전역 파라미터(π, φ)와 관측치 xₙ에 대해 로그 가중치 Wₙₖ = E_q