문서 네트워크를 위한 계층적 관계 모델

초록

본 논문은 문서 간의 링크와 텍스트 내용을 동시에 모델링하는 관계 토픽 모델(RTM)을 제안한다. 각 문서는 라티스 토픽 분포를 통해 단어를 생성하고, 두 문서의 토픽 분포 차이를 기반으로 링크 존재 여부를 확률적으로 예측한다. 변분 추론과 효율적인 희소성 활용으로 대규모 과학 초록, 웹 페이지, 지역 뉴스 데이터에 적용 가능함을 실험을 통해 입증한다.

상세 분석

RTM은 전통적인 토픽 모델(LDA)과 네트워크 모델을 결합한 하이브리드 구조로, 문서의 내용과 구조적 관계를 동시에 설명한다. 생성 과정은 먼저 각 문서 d에 대해 디리클레 사전 α에서 토픽 비율 θ_d를 샘플링하고, 각 단어 w_{dn}은 토픽 z_{dn}∼Mult(θ_d)와 토픽‑단어 분포 β를 통해 생성한다. 이후 문서 쌍 (d, d′)에 대해 링크 y_{dd′}∈{0,1}은 두 문서의 토픽 평균 μ_d, μ_{d′}를 입력으로 하는 로짓 함수 σ(η·f(μ_d, μ_{d′})))에 의해 확률화된다. 여기서 f는 두 토픽 벡터의 내적, 차이, 혹은 결합을 나타내는 함수이며, η는 링크 가중치 파라미터이다. 이 설계는 “내용 기반 연결”이라는 직관을 수학적으로 구현한다는 점에서 의미가 크다.

추론 단계에서는 변분 EM을 적용해 각 문서의 토픽 분포와 단어‑토픽 할당을 근사한다. 변분 파라미터 γ_d(디리클레 파라미터)와 φ_{dn}(멀티노미얼 파라미터)를 업데이트하면서, 링크에 대한 기대 로그우도는 희소한 링크 행렬을 이용해 O(|E|) 복잡도로 계산된다. 특히, 비링크(0) 사례는 전체 가능한 쌍을 모두 고려하지 않고, 부정 샘플링을 통해 효율성을 확보한다. 파라미터 η와 β는 변분 기대값을 이용한 최대우도 추정으로 교번한다.

실험에서는 세 가지 대규모 데이터셋(과학 초록, 웹 페이지, 지리적 뉴스)을 사용해 (1) 링크 예측 정확도, (2) 단어 예측 퍼플렉시티, (3) 토픽 해석 가능성을 평가한다. 비교 모델로는 LDA+Logistic, Mixed Membership Stochastic Blockmodel(MMSB), 그리고 순수 네트워크 모델을 포함한다. 결과는 RTM이 특히 링크 예측에서 AUC가 0.85 이상으로 우수하며, 토픽 품질도 기존 LDA 대비 퍼플렉시티 감소를 보인다. 또한, 토픽-링크 파라미터 η가 특정 도메인(예: 인용 네트워크)에서 의미 있는 방향성을 드러내어, “주제 유사도가 높을수록 연결 확률이 증가한다”는 가설을 실증한다.

한계점으로는 링크가 이진형태에 국한돼 가중치가 있는 경우 확장이 필요하고, 토픽 수 K에 대한 민감도가 존재한다는 점을 들 수 있다. 향후 연구에서는 연속형 링크, 시간에 따른 동적 토픽 변화를 모델링하고, 비정형 텍스트 외에 이미지·메타데이터를 통합하는 멀티모달 확장을 제안한다.