문법과 의미를 동시에 포착하는 통합 토픽 모델

초록

STM은 문서 수준의 토픽 분포와 의존 구문 트리의 지역적 문법 정보를 결합해, 의미와 구문 양쪽에서 일관된 토픽을 학습하는 베이지안 비모수 모델이다. 변분 추론을 통해 효율적인 사후 추정이 가능하며, 순수 토픽 모델이나 순수 구문 모델보다 예측 성능이 우수함을 실험적으로 입증한다.

상세 분석

본 논문은 텍스트를 단순히 “bag‑of‑words” 형태로만 바라보는 전통적 토픽 모델의 한계를 극복하고자, 구문 구조 정보를 명시적으로 활용하는 새로운 프레임워크인 Syntactic Topic Model (STM)을 제안한다. STM은 두 가지 핵심 확률 분포를 동시에 학습한다. 첫째, 각 문서마다 Dirichlet Process(또는 Hierarchical Dirichlet Process)를 기반으로 하는 토픽 분포 θ_d 를 두어, 문서 전체의 의미적 일관성을 보장한다. 둘째, 의존 구문 트리의 각 노드(단어)마다 그 자식 노드들이 선택할 토픽을 규정하는 전이 분포 φ_{p→c} 를 도입한다. 이 전이 분포는 기존의 latent‑state syntax 모델(예: PCFG‑based hidden Markov model)과 유사하게, 구문적 역할에 따라 토픽 선택을 제한한다.

STM의 핵심 아이디어는 “컨볼루션”이다. 특정 단어 w_{i}의 토픽 z_{i}는 문서 수준 토픽 분포 θ_{d(i)}와 해당 단어의 부모 노드가 제공하는 구문 전이 분포 φ_{parent(i)}의 곱으로 정의된다. 즉, P(z_i|·) ∝ θ_{d(i)}·φ_{parent(i)}(z_i). 이렇게 하면 문서 전체의 의미 흐름과 지역 구문 구조가 동시에 고려되어, 의미적으로는 같은 주제이면서도 구문적으로는 비슷한 역할을 하는 단어들이 동일 토픽에 할당될 확률이 높아진다.

베이지안 비모수 접근을 채택함으로써 토픽 수를 사전에 고정하지 않고 데이터에 따라 자동으로 확장·축소할 수 있다. 구체적으로는 GEM(Griffiths‑Engen‑McCloskey) 과정으로 토픽 가중치를 생성하고, 각 문서와 구문 전이마다 독립적인 Dirichlet(α)와 Dirichlet(β) 하이퍼파라미터를 부여한다.

추론 단계에서는 전통적인 Gibbs 샘플링이 계산 비용이 prohibitive하므로, 변분 베이즈(Variational Bayes) 방법을 설계한다. 변분 분포는 문서‑토픽 변수와 구문‑전이 변수에 대해 mean‑field 가정을 두고, 각각의 ELBO(Evidence Lower BOund) 파라미터를 좌우 교대로 최적화한다. 특히, 토픽 전이 분포 φ는 트리 구조에 따라 순차적으로 업데이트되며, 효율성을 위해 트리 전파 알고리즘을 적용한다. 실험에서는 변분 추정이 Gibbs에 비해 10배 이상 빠르면서도 토픽 일관성 및 혼합 비율 추정 정확도에서 큰 손실이 없음을 보인다.

성능 평가에서는 두 가지 데이터셋을 사용한다. 첫 번째는 인공적으로 생성한 의존 구문 트리를 가진 합성 코퍼스로, 여기서는 모델이 토픽과 구문 전이를 정확히 복원하는지를 정량적으로 측정한다. 두 번째는 실제 뉴스 기사와 위키피디아 문서를 Stanford Dependency Parser로 파싱한 실제 데이터이며, 여기서는 퍼플렉시티(perplexity)와 토픽 일관성(coherence) 점수를 기존 LDA, HDP, 그리고 Syntax‑only 모델(예: Dependency‑based Topic Model)과 비교한다. STM은 모든 지표에서 우수한 결과를 보이며, 특히 구문적으로 유사하지만 의미적으로 다른 단어들을 구분하는 능력이 두드러진다.

한계점으로는 파싱 오류에 민감하다는 점과, 트리 구조가 깊어질수록 변분 업데이트가 복잡해지는 점을 들 수 있다. 또한, 현재 구현은 영어와 같은 고정 어순 언어에 최적화돼 있어, 자유 어순을 갖는 언어에서는 추가적인 구조적 조정이 필요할 것으로 보인다. 향후 연구에서는 파싱 단계와 토픽 학습을 공동 최적화하는 end‑to‑end 모델, 그리고 멀티‑모달(텍스트+이미지) 확장 가능성을 탐색하고 있다.