계층적 잠재 트리 모델을 이용한 주제 탐지

본 논문은 “계층적 잠재 트리 모델(HLTM)”이라는 새로운 그래프 모델을 이용해 문서 집합에서 계층적인 주제 구조를 자동으로 학습하는 방법을 제시한다. 기존의 LDA 기반 계층적 토픽 모델은 문서 생성 과정을 확률적으로 가정하고, 토픽을 단어 확률 분포로 정의한다. 반면 HLTM은 문서 자체를 관측 변수(단어의 존재 여부를 나타내는 이진 변수)로 보고, 여러 층의 이진 잠재 변수를 도입해 단어 간 상관 관계를 트리 형태로 모델링한다. 트리의 가장 아래 층은 관측 변수이며, 그 위의 각 레벨은 해당 레벨 아래에 있는 변수들의 공현 패턴을 설명하는 잠재 변수를 포함한다. 각 잠재 변수는 두 개의 상태를 가지며, 이는 문서 집합을 두 개의 소프트 클러스터로 나눈다. 이러한 클러스터가 바로 ‘주제’가 된다. 높은 레벨의 잠재 변수는 장거리 단어 공현을 포착해 일반적인 주제를, 낮은 레벨은 국소적인 단어 집합을 포착해 구체적인 주제를 형성한다. 논문은 먼저 관련 연구를 정리한다. nCRP, nHDP, PAM 등은 모두 LDA를 확장한 방법으로, 토픽 트리를 사전 정의하거나 무한 트리를 가정하고, 문서 생성 과정을 통해 파라미터를 추정한다. 이러한 접근법은 복잡한 하이퍼파라미터 설정과 트리 구조 선택에 민감하며, 토픽을 단어 분포로만 표현하기 때문에 해석이 제한적이다. 그 다음 저자는 잠재 트리 모델(LTM)의 기본 개념을 소개한다. LTM은 트리 구조의 베이지안 네트워크로, 잎 노드는 관측 변수, 내부 노드는 잠재 변수이며, 모든 변수는 이진이다. 모델은 루트 변수의 주변 분포와 각 노드의 조건부 분포의 곱으로 정의된다. 트리 구조는 등가 클래스(루트 선택에 따라 방향이 달라짐)를 가지며, 실제 구현에서는 무방향 트리 형태로 다룬다. 또한 정규성 조건을 도입해 각 잠재 변수가 최소 3개의 이웃을 갖도록 제한함으로써 모델의 과적합을 방지한다. 핵심 기여는 HLTM을 텍스트 데이터에 적용하는 방법이다. 저자는 20 Newsgroups 데이터의 부분 집합을 예시로 사용해, 레벨 1에서 단어 집합을 군집화하고 각 군집을 설명하는 잠재 변수(Z₁₁, Z₁₂, …)를 도입한다. 예를 들어 Z₁₁은 “nasa, space, shuttle, mission”과 같은 단어들의 공현을 포착한다. 레벨 2에서는 레벨 1의 잠재 변수들을 다시 군집화해 상위 잠재 변수(Z₂₁ 등)를 만든다. 이렇게 단계적으로 트리를 확장함으로써, 각 레벨의 잠재 변수가 해당 레벨 아래의 패턴을 요약한다. 학습 알고리즘은 크게 세 단계로 구성된다. (1) 초기 단어-단어 상관 행렬을 기반으로 변수 군집화를 수행해 레벨 1 잠재 변수를 생성한다. (2) EM 알고리즘을 이용해 현재 트리 구조의 파라미터를 추정한다. (3) 새로운 잠재 변수를 추가하거나 기존 변수를 병합·분할하는 구조 탐색 과정을 반복해 모델 복잡도를 조절한다. 대규모 데이터에 대해서는 파라미터 추정을 위한 변형된 변분 EM과 병렬화 기법을 적용해 학습 시간을 크게 단축한다. 실험에서는 HLTM을 기존 nCRP, nHDP, PAM과 비교한다. 평가 지표는 토픽 일관성(단어 상관도 기반), 퍼플렉시티(예측 정확도), 그리고 인간 평가를 통한 주제 계층의 직관성이다. 결과는 HLTM이 특히 높은 레벨에서 더 일반적인 주제를, 낮은 레벨에서 더 구체적인 주제를 잘 구분한다는 점을 보여준다. 또한 퍼플렉시티 측면에서 LDA 기반 모델에 필적하거나 약간 우수한 성능을 보이며, 토픽 일관성 점수에서도 경쟁력을 유지한다. 논문은 마지막으로 HLTM의 한계와 향후 연구 방향을 논의한다. 이진 단어 변수 사용으로 인해 단어 빈도 정보를 활용하지 못한다는 점이 주요 제한점이며, 이를 보완하기 위한 다중값 변수 확장이나 연속형 변수 도입이 제안된다. 또한, 현재는 트리 구조에만 초점을 맞추었지만, 보다 복잡한 그래프 구조(예: DAG)로 확장하면 더 풍부한 주제 관계를 모델링할 수 있을 것으로 기대한다. 전반적으로 이 연구는 “문서 생성 과정을 가정하지 않고, 관측 변수와 잠재 변수의 트리 구조를 통해 직접적으로 주제와 그 계층을 추출한다”는 새로운 패러다임을 제시하며, 토픽 모델링 분야에 의미 있는 기여를 한다.