변분 추론이 토픽 모델에서 전역 최적을 찾는 경우

본 논문은 변분 추론(Variational Inference, VI)이 토픽 모델링에 널리 사용되는 이유와 그 한계에 대해 이론적 분석을 시도한다. 저자들은 “변분 EM이 전역 최적에 수렴한다”는 최초의 정량적 결과를 제시하며, 이를 위해 토픽‑워드 행렬과 토픽 사전에 대해 두 가지 핵심 가정을 설정한다. 1. **가중 확장 가정(Weighted Expansion)** - 토픽‑워드 행렬 A∈ℝ^{K×V} (K는 토픽 수, V는 어휘 크기)에서, 임의의 상수 크기 집합 S⊂{1,…,K}에 대해, 각 토픽 i∈S가 전용으로 차지하는 단어들의 확률 질량이 충분히 크다. 이는 Anandkumar et al. (2013)의 확장 가정과 유사하지만, 전체 토픽이 아니라 상수 크기의 부분집합에만 적용한다. - 이 가정은 “지역 앵커 단어(local anchor word)” 개념을 도입하게 하며, 각 토픽마다 해당 토픽에만 등장하는 단어가 존재함을 보장한다. 2. **희소·약한 상관 사전(Sparse Weakly Correlated Prior)** - 토픽 사전 α는 Dirichlet 분포를 따르며, 문서당 토픽 수가 작고 토픽 포함 여부가 서로 거의 독립적이다. 이는 실제 문서가 짧은 경우보다 긴 경우에 더 잘 맞는다. - 이러한 사전은 문서별 토픽 비율 γ가 희소하고, 서로 다른 토픽 간의 상관이 낮아 “지역 앵커 문서(local anchor document)”가 존재하도록 만든다. 즉, 특정 단어 j가 토픽 i에만 등장하는 문서가 충분히 존재한다. 위 두 가정을 바탕으로, 저자들은 변분 EM의 업데이트를 크게 두 단계로 나눈다. **E‑step (변분 E‑step)** - 기존 변분 EM에서는 복잡한 KL 최소화 문제를 풀어야 하지만, 긴 문서(N_d → ∞) 한계에서는 γ_d,i (문서 d의 토픽 i 비율)가 단순히 φ_{d,j,i}의 정규화된 합으로 표현된다. - φ_{d,j,i}는 현재 β_i,j (토픽‑워드 확률)와 γ_d,i의 곱에 비례한다. 즉, φ는 “단어 j가 토픽 i에 할당될 확률”을 의미한다. **M‑step (변분 M‑step)** - β_i,j는 모든 문서와 단어에 대해 φ_{d,j,i}와 실제 단어 빈도 ˜f_{d,j}의 곱을 합산해 정규화한다. - α는 별도 gradient descent로 업데이트되지만, 본 논문에서는 α가 수렴에 미치는 영향이 작아 α 업데이트를 무시한다. 이때 변분 업데이트는 다음과 같은 형태의 재귀식을 만족한다. β^{(t+1)} = w·β^{*} + (1−w)·ε^{(t)} 여기서 β^{*}는 실제 파라미터, ε^{(t)}는 이전 추정치에 비례하는 작은 오차, w는 “ground‑truth 가중치”이다. 가중치 w가 오차보다 크게 유지되는 조건은 앞서 정의한 지역 앵커 구조에 의해 보장된다. 따라서 반복이 진행될수록 ε^{(t)}는 기하급수적으로 감소하고, β^{(t)}는 β^{*}에 수렴한다. **초기화 전략** 논문은 두 가지 초기화 방법을 제안한다. - **LDA‑c 기반 초기화**: 토픽‑워드 행렬을 무작위로 초기화하고, 문서‑토픽 비율을 단순히 단어 빈도 기반 추정으로 설정한다. 이 방법은 실제 구현에서 가장 널리 쓰이며, 실험적으로도 충분히 작은 초기 오차를 만든다. - **겹치는 군집 초기화**: Arora et al. (2014)의 딕셔너리 학습 아이디어를 차용해, 단어‑문서 이중 그래프에서 고밀도 클러스터(앵커 단어·문서)를 탐색한다. 이 과정은 선형 시간에 수행 가능하며, 초기 β가 지역 앵커 구조를 만족하도록 만든다. 두 초기화 모두 “오차가 충분히 작다”는 전제 하에 위의 수렴 메커니즘을 적용할 수 있다. **공통 단어 처리** 실제 텍스트에서는 여러 토픽에 동시에 등장하는 고빈도 단어(예: ‘the’, ‘and’)가 존재한다. 논문은 이러한 공통 단어가 존재하더라도, 긴 문서와 희소 사전이 보장되면 해당 단어에 대한 φ 값이 각 토픽에 고르게 분산되지 않고, 주된 토픽에 비해 상대적으로 작아진다. 따라서 전체 수렴 속도에 큰 영향을 주지 않는다. **실험 및 사례 연구** 두 개의 사례 연구가 제시된다. 1. **희소 토픽 사전 + 지원 초기화**: 토픽이 매우 희소하고, 각 토픽에 대한 지원(support) 집합을 정확히 찾는 경우. 여기서는 변분 EM이 빠르게 전역 최적에 도달한다는 것을 보인다. 2. **지배 토픽 + 시드 초기화**: 각 문서에 지배적인 토픽이 존재하고, 초기화 단계에서 해당 토픽을 시드(seed)로 제공하는 경우. 이 경우에도 변분 EM이 전역 최적을 찾으며, 특히 앵커 단어와 앵커 문서가 명확히 구분될 때 수렴이 가속된다. 각 사례에서 저자들은 β와 γ의 추정 오차가 이론적 경계 이하로 감소함을 실험적으로 확인한다. **결론 및 의의** 본 연구는 변분 추론이 단순히 “빠른 근사”가 아니라, 특정 구조적 가정 하에서는 전역 최적을 보장하는 강력한 최적화 프레임워크임을 증명한다. 특히, 변분 업데이트를 “노이즈가 섞인 볼록 조합”으로 해석한 점은 기존 EM·Lloyd‑type 알고리즘 분석과 차별화되는 새로운 시각을 제공한다. 이 접근법은 향후 다른 복합 잠재 변수 모델(예: 혼합 가우시안, 히든 마코프 모델)에도 확장 가능성을 시사한다.