인용 네트워크와 저자·텍스트를 결합한 비모수 토픽 모델

**1. 연구 배경 및 목표** 학술 문헌은 저자 메타데이터, 텍스트(제목·초록), 그리고 인용 관계라는 세 가지 주요 정보를 동시에 포함한다. 기존 연구는 이들 중 하나 혹은 두 가지만을 결합하는 경우가 많았다. 예를 들어, LDA는 텍스트만, ATM은 텍스트와 저자, PMTLM은 텍스트와 인용 네트워크를 다루지만, 저자‑인용‑텍스트를 모두 포괄하는 통합 모델은 부족했다. 본 논문은 이러한 격차를 메우기 위해, 저자‑문서‑인용을 동시에 모델링하는 비모수 토픽 모델인 Citation‑Network Topic Model(CNTM)을 제안한다. **2. 모델 설계** CNTM은 두 주요 구성 요소로 이루어진다. - **텍스트·저자 토픽 계층** - 루트 토픽 분포 µ는 GEM(α_µ, β_µ)으로 샘플링된다. - 각 저자 a는 µ를 베이스로 하는 PYP(α_νₐ, β_νₐ, µ)로 토픽 분포 νₐ를 갖는다. - 문서 d의 첫 번째 저자 a_d를 기준으로, 문서‑인용 토픽 사전 θ₀ᵈ를 νₐ_d에서 PYP(α_θ₀, β_θ₀, νₐ_d)로 샘플링한다. - 실제 텍스트 토픽 분포 θᵈ는 θ₀ᵈ를 베이스로 하는 또 다른 PYP(α_θ, β_θ, θ₀ᵈ)로 생성한다. - 이렇게 두 단계(θ₀ᵈ → θᵈ)를 두어 인용 정보가 토픽에 미치는 영향을 강조한다. - **단어·버스트성 모델** - 배경 단어 분포 γ는 PYP(α_γ, β_γ, H_γ)로 정의하고, 토픽‑단어 분포 φₖ는 γ를 베이스로 하는 PYP(α_φₖ, β_φₖ, γ)로 만든다. - 문서‑특화 토픽‑단어 분포 φ₀ᵈₖ는 φₖ를 베이스로 하는 PYP(α_φ₀, β_φ₀, φₖ)로 샘플링한다. - 이는 단어 버스트성을 모델링해, 특정 토픽 단어가 한 문서 내에서 반복되는 현상을 자연스럽게 설명한다. - **인용 네트워크 Poisson 모델** - 인용 횟수 xᵢⱼ는 Poisson(λᵢⱼ)로 모델링한다. - λᵢⱼ = λ⁺ᵢ λ⁻ⱼ Σₖ λ_Tₖ θ₀ᵢₖ θ₀ⱼₖ 로 정의되며, λ⁺ᵢ는 인용자 i의 인용 활성도, λ⁻ⱼ는 피인용자 j의 인기도, λ_Tₖ는 토픽별 스케일링 파라미터이다. - Poisson을 사용함으로써 인용이 희소한 경우에도 효율적인 계산이 가능하고, 인용이 다중(0,1) 이상일 때도 자연스럽게 확장된다. **3. 추론 알고리즘** - **Collapsed Gibbs 샘플러** - 확률 벡터(µ, νₐ, θ₀ᵈ, θᵈ, φₖ, φ₀ᵈₖ 등)를 적분하고, 고객 카운트(c)와 테이블 카운트(t)만을 유지한다. - Chen et al.(2011)의 개선된 PYP 샘플링 방식을 채택해, Bernoulli 지시 변수 uₙₖ를 도입, 테이블 생성 여부를 명시적으로 추적한다. - 각 단어 w_dn에 대해 현재 토픽 할당과 관련 지시 변수를 감소시킨 뒤, 새로운 토픽을 비율 형태의 조건부 확률로 샘플링하고 카운트를 복원한다. - 이 과정에서 테이블 카운트가 증가하면 상위 계층(θ₀ᵈ, νₐ, µ)까지 연쇄적으로 업데이트된다. - **Metropolis‑Hastings for Citations** - 인용 링크 xᵢⱼ에 대해 보조 변수 yᵢⱼ(인용 토픽)를 제안하고, 현재 카운트와 λ 파라미터를 이용해 수용 확률을 계산한다. - 제안 분포는 현재 θ₀ᵢ와 θ₀ⱼ의 토픽 분포를 기반으로 하며, MH 단계에서 새로운 인용 토픽이 기존 카운트에 미치는 영향을 반영한다. - 이 두 서브샘플러를 교대로 실행함으로써 전체 모델을 효율적으로 학습한다. **4. 실험 설정** - 데이터: CiteSeerX에서 20,000여 논문을 추출, 메타데이터(저자, 초록, 제목)와 인용 관계를 사용. - 비교 모델: LDA, ATM, PMTLM, Citation‑Author Topic(CAT) 등. - 평가 지표: 퍼플렉시티(텍스트 적합도), 클러스터링 정밀도(purity, NMI), 그리고 토픽 일관성(주제 단어 상위 10개) 등. **5. 결과 및 분석** - **모델 적합도**: CNTM은 LDA 대비 퍼플렉시티를 약 12% 낮추었으며, ATM·PMTLM 대비 8~10% 개선했다. 이는 텍스트와 인용 정보를 동시에 활용한 것이 효과적임을 보여준다. - **클러스터링**: 논문을 저자·주제 라벨에 따라 군집화했을 때, CNTM의 purity와 NMI가 기존 모델보다 각각 5~7%와 4~6% 높았다. - **정성 평가**: 주요 토픽(예: “machine learning”, “bioinformatics”, “graph theory”)에 대해 저자‑토픽 매핑이 직관적으로 해석 가능했으며, 인용 토픽 yᵢⱼ가 실제 인용 동기를 잘 반영했다(예: 생물학 논문이 머신러닝 논문을 인용할 때 인용 토픽이 “machine learning”으로 나타남). - **효율성**: 확률 벡터를 적분한 채로 추론함으로써 메모리 사용량이 기존 변분 EM 방식 대비 30% 이하로 감소했고, 수렴 속도도 2~3배 빨랐다. **6. 결론 및 향후 연구** CNTM은 비모수 토픽 수, 저자 영향력, 인용 토픽 연관성을 동시에 고려함으로써, 기존 단일‑모달 모델이 놓치기 쉬운 미세한 구조적 신호를 포착한다. 또한, Gibbs‑MH 혼합 추론이 효율적이며 확장 가능하다는 점에서 실용적이다. 향후 연구에서는 (1) 저자 순위가 다중 저자에 미치는 영향을 보다 정교히 모델링, (2) 시간에 따른 인용 흐름을 동적 토픽으로 확장, (3) 전체 논문 본문을 포함한 대규모 데이터셋에 대한 스케일링을 검토할 예정이다.