무한 저자 주제 모델 혼합 감마 음이항 과정 기반

초록

본 논문은 기존 저자‑주제 모델(ATM)의 고정된 토픽 수 한계를 극복하기 위해, 감마‑음이항 과정을 3단계 계층 구조(저자‑문서‑단어)로 확장하고, 다중 저자의 기여를 혼합 감마 과정으로 모델링한다. 폐쇄형 조건부분포를 갖는 효율적인 Gibbs 샘플링 알고리즘을 제안하며, 실제 데이터셋 실험을 통해 토픽 수와 저자 관심사를 동시에 학습함을 입증한다.

상세 분석

이 연구는 텍스트 마이닝에서 저자 정보를 활용하는 Author Topic Model(ATM)의 핵심 제약인 “토픽 수를 사전에 지정해야 한다”는 문제를 비모수 베이지안 접근으로 해결한다. 핵심 아이디어는 Gamma‑Negative Binomial Process(GNBP)를 기반으로 무한히 많은 토픽을 데이터가 스스로 결정하도록 하는 것이다. 기존 GNBP는 두 단계(문서‑단어) 구조에 적용되었으나, 저자‑문서‑단어 3계층 구조를 구현하기 위해 Gamma 과정 하나를 추가한다. 구체적으로, 전체 토픽 베이스 측정 H에서 시작해 Γ₀∼GaP(c₀,H) 를 정의하고, 각 저자 a에 대해 Γₐ∼GaP(cₐ,Γ₀) 로 저자별 토픽 가중치를 샘플링한다. 문서 d는 다중 저자를 가질 수 있으므로, 해당 저자들의 Gamma 과정을 동일 가중치로 선형 결합(⊕)하여 혼합 Gamma 과정 Γ_{da}=⊕{a∈A_d}Γₐ를 만든다. 이후 문서‑특유의 스케일 파라미터 p_d를 이용해 Γ_d∼GaP((1−p_d)/p_d,Γ{da}) 로 문서‑토픽 가중치를 얻고, 최종 단어 카운트는 Poisson(Γ_d) 혹은 등가적인 Negative Binomial(NB) 형태로 모델링한다.

모델 추론에서는 무한 혼합 구조 때문에 직접적인 후방분포 계산이 어려우므로, 트렁케이션 기법으로 최대 토픽 수 K를 크게 잡고 근사한다. 중요한 난관은 혼합 Gamma 과정으로부터 나온 r_{da,k} 를 어떻게 샘플링하느냐인데, 저자별 독립 NB 변수 n_{ad,k} 를 도입해 “음이항 분포의 가법성(Theorem 1)”을 활용한다. 즉, n_{d,k}∼NB(r_{da,k},p_d) 를 A_d개의 독립 NB 변수 n_{ad,k}∼NB(r_{a,k},p_d) 로 분해함으로써 각 저자별 r_{a,k} 를 조건부 Gamma 분포로 업데이트할 수 있다. 이 과정 덕분에 모든 조건부분포가 폐쇄형이 되어 Gibbs 샘플링이 효율적으로 수행된다.

실험에서는 학술 논문 데이터와 소셜 미디어 데이터 두 가지 실세계 코퍼스를 사용해, 기존 ATM(고정 토픽)과 HDP‑LDA 등 비모수 토픽 모델과 비교하였다. 결과는 (1) 자동으로 추정된 토픽 수가 데이터 복잡도에 맞게 조절되고, (2) 저자별 토픽 선호도가 직관적으로 해석 가능하며, (3) 퍼플렉시티와 토픽 일관성 측면에서 기존 모델을 능가함을 보여준다. 특히, 다중 저자 문서에서 각 저자의 기여도를 정량화할 수 있다는 점이 실용적 가치를 높인다.

이 논문의 주요 공헌은 (i) 저자‑문서‑단어 3계층 구조에 맞는 비모수 베이지안 모델을 설계하고, (ii) 혼합 Gamma 과정을 효율적으로 추론할 수 있는 Gibbs 샘플링 알고리즘을 제시했으며, (iii) 실제 데이터에서 토픽 수와 저자 관심사를 동시에 학습함으로써 기존 ATM의 한계를 실질적으로 극복했다는 점이다.