감독 토픽 모델을 위한 스펙트럴 학습

초록

본 논문은 감독 라티스 디리클레 할당(sLDA) 모델의 파라미터를 기존 변분·샘플링 방식이 아닌 스펙트럴 방법으로 추정한다. 두 단계 방식은 LDA 파라미터를 먼저 복원하고, 파워 업데이트로 회귀 가중치를 얻는다. 이후 제안된 단일 단계 알고리즘은 관측 모멘트를 이용해 토픽 행렬과 회귀 파라미터를 동시에 복원한다. 이론적으로 샘플 복잡도와 식별 가능 조건을 제시하고, 합성·실제 데이터 실험을 통해 기존 MLE 기반 방법과 동등하거나 우수한 성능을 확인한다.

상세 분석

이 논문은 감독 토픽 모델인 sLDA의 파라미터 추정 문제를 스펙트럴 학습이라는 비확률적, 비최적화 기반 접근법으로 해결한다는 점에서 혁신적이다. 기존의 변분 추정이나 Gibbs 샘플링은 비볼록 최적화 문제에 의존해 지역 최소에 빠질 위험이 크고, 수렴 속도가 느리다는 한계가 있다. 스펙트럴 방법은 저차 모멘트(1차, 2차, 3차)를 이용해 모델 파라미터와 직접적인 선형 관계를 구축하고, 텐서 분해와 whitening 과정을 통해 고유값·고유벡터를 회복한다. 논문은 먼저 두 단계 알고리즘을 제시한다. 첫 단계에서는 기존 LDA용 스펙트럴 기법을 그대로 적용해 토픽-단어 분포 행렬 O를 복원한다. 여기서 중요한 점은 O의 정규화와 canonical 형태(eO)를 정의해 고유벡터가 직교하도록 만든다. 두 번째 단계에서는 “파워 업데이트”라 불리는 새로운 경험적 모멘트를 이용해 회귀 가중치 η와 노이즈 분산 σ²를 추정한다. 이 단계는 O가 고정된 상황에서 η를 선형 시스템으로 풀어내므로, O와 η 사이의 상호 의존성을 무시해도 된다. 그러나 이러한 분리 방식은 감독 정보가 토픽 추정에 반영되지 않아 실험에서 약간의 성능 저하가 관찰된다. 이를 보완하기 위해 논문은 단일 단계(단일‑phase) 스펙트럴 알고리즘을 설계한다. 여기서는 토픽-단어 분포와 회귀 파라미터를 결합한 확장 벡터 v_i =