계층적 토픽 모델링을 위한 무한 트리 확률 과정, 중첩 중국 레스토랑 프로세스

** 본 논문은 베이지안 비모수(Bayesian Nonparametric, BNP) 통계학의 개념을 활용해, 데이터 구조가 사전에 고정되지 않은 경우에도 유연하게 모델링할 수 있는 새로운 확률 과정을 제안한다. 그 중심이 되는 것이 ‘중첩 중국 레스토랑 프로세스(nested Chinese Restaurant Process, nCRP)’이다. 전통적인 중국 레스토랑 프로세스(CRP)는 무한한 테이블을 가진 레스토랑에 고객을 배치함으로써 무한 파티션을 생성한다. nCRP는 이 아이디어를 트리 구조로 확장한다. 즉, 각 테이블이 또 다른 무한 레스토랑을 품고, 그 안에 또 다른 테이블이 존재하는 형태로 재귀적으로 구성된다. 결과적으로 무한히 깊고 무한히 분기되는 트리를 확률적으로 생성할 수 있다. 이 트리 구조를 토픽 모델링에 적용한다면, 문서는 트리의 루트에서 시작해 하나의 경로를 따라 내려가며 각 레벨에서 하나의 토픽을 선택한다. 각 레벨의 토픽은 단어 분포 β를 갖고, 문서 내 단어들은 해당 레벨의 토픽에서 독립적으로 생성된다. 따라서 문서는 “주제‑하위주제‑세부주제”와 같은 계층적 의미 구조를 자연스럽게 표현하게 된다. 중요한 점은 트리의 깊이와 분기 수가 사전에 정해져 있지 않다는 것이다. nCRP의 ‘선호적 부착’ 메커니즘은 기존에 많이 사용된 토픽에 새로운 문서가 몰리게 하면서도, 아직 사용되지 않은 새로운 토픽을 생성할 확률을 유지한다. 이는 데이터가 증가함에 따라 모델 복잡도가 자동으로 확장되는 비모수적 특성을 보장한다. 모델 수식은 크게 두 부분으로 나뉜다. 첫 번째는 트리 토픽 구조 자체에 대한 사전으로, nCRP에 의해 트리의 형태와 각 노드(토픽)의 파라미터 β가 샘플링된다. 두 번째는 관측 데이터(문서와 단어)에 대한 생성 과정이다. 각 문서는 트리상의 하나의 경로 c_d를 선택하고, 문서 d의 각 단어 w_{dn}은 경로상의 레벨 z_{dn}에 해당하는 토픽 β_{c_d(z_{dn})}에서 생성된다. 이때 β는 Dirichlet(η) 사전 위에 놓이며, 단어는 다항분포를 따른다. 추론은 Gibbs 샘플링을 기반으로 한다. 샘플링 절차는 다음과 같다. (1) 각 문서 d에 대해 현재 할당된 경로 c_d를 제거하고, nCRP 확률과 현재 다른 문서들의 경로 배치를 고려해 새로운 경로를 재샘플링한다. (2) 각 단어 w_{dn}에 대해 현재 레벨 할당 z_{dn}을 제거하고, 해당 레벨의 토픽 β와 단어 빈도수를 이용해 새로운 레벨을 샘플링한다. (3) 모든 β 파라미터를 Dirichlet 사후분포에 따라 업데이트한다. 이 과정은 트리 구조가 동적으로 변하면서도, 사후 확률이 점차 수렴하도록 설계되었다. 실험에서는 1987‑2004년 사이에 ACM 저널에 게재된 536개의 초록(총 68 000단어, 어휘 1 539개)으로 구성된 코퍼스를 사용했다. 모델은 25개의 토픽을 포함하는 트리를 학습했으며, 각 노드에 가장 확률이 높은 다섯 개 단어를 표시해 시각화하였다. 최상위 레벨에서는 ‘the’, ‘of’ 등 기능어가 모여 있었고, 1단계에서는 ‘algorithm’, ‘graph’, ‘logic’ 등 컴퓨터 과학의 주요 분야가 구분되었다. 2단계에서는 ‘planarity testing’, ‘temporal databases’, ‘quantum coding’ 등 보다 구체적인 연구 주제가 나타났다. 이러한 계층적 구조는 완전 비지도 방식으로, 문서 외부의 메타데이터(키워드, 저자 등)를 전혀 사용하지 않았다. 정량적 평가는 예측 가능도(perplexity)와 같은 전통적 언어 모델 지표를 사용했으며, 제안된 nCRP 기반 계층적 토픽 모델이 기존 LDA나 HDP(Latent Dirichlet Allocation, Hierarchical Dirichlet Process)와 비교해 더 낮은 perplexity를 기록했다. 이는 트리 구조가 문서 간의 다중 수준 유사성을 효과적으로 포착한다는 것을 의미한다. 논문의 기여는 크게 네 가지로 요약된다. 첫째, 무한 트리 구조에 대한 사전 분포인 nCRP를 정의함으로써 베이지안 비모수 모델링의 적용 범위를 확장했다. 둘째, nCRP를 이용한 계층적 토픽 모델을 제시해 문서의 다중 수준 의미 구조를 자동으로 학습했다. 셋째, Gibbs 샘플링 기반의 실용적인 추론 알고리즘을 설계해 실제 대규모 텍스트 데이터에 적용 가능함을 입증했다. 넷째, 실제 과학 논문 초록에 대한 실험을 통해 모델이 의미 있는 토픽 계층을 발견하고, 정량적 성능에서도 기존 방법을 능가함을 보였다. 하지만 몇 가지 한계도 존재한다. Gibbs 샘플링은 수렴 속도가 느릴 수 있어, 매우 큰 코퍼스에서는 계산 비용이 크게 증가한다. 또한, 트리 깊이가 무한히 확장될 수 있기 때문에, 실제 구현에서는 적절한 깊이 제한이나 사전 하이퍼파라미터 튜닝이 필요하다. 향후 연구에서는 변분 추론(Variational Inference)이나 스토캐스틱 그라디언트 MCMC와 같은 더 효율적인 추론 방법을 도입하거나, 이미지, DNA 서열 등 비텍스트 데이터에 대한 확장 가능성을 탐색할 수 있다. **