커널 토픽 모델: 메타데이터와 연속 잠재공간을 결합한 새로운 LDA 확장

초록

본 논문은 전통적인 라티스 디리클레 할당(LDA)에서 문서별 토픽 비율을 디리클레 분포 대신 소프트맥스 변환을 거친 가우시안으로 모델링한다. 이를 Hilbert 공간에 매핑해 커널 함수를 이용한 토픽 흐름을 표현하고, 라플라스 근사를 통해 디리클레와 가우시안 사이의 변환을 효율적으로 수행한다. 결과적으로 시간·공간·사회적 메타데이터를 자연스럽게 통합한 커널 토픽 모델(KTM)을 제안한다.

상세 분석

이 논문은 LDA의 핵심 가정인 “문서는 토픽의 혼합비율을 디리클레 분포로부터 샘플링한다”는 점을 근본적으로 바꾸어, 각 문서의 토픽 비율을 소프트맥스(σ) 함수로 스퀘시된 다변량 정규분포, 즉 π = σ(y) 형태로 정의한다. 여기서 y는 Hilbert 공간 H 위에 정의된 가우시안 프로세스(h_k)들의 선형 결합에 가우시안 잡음 τ를 더한 값이다. 따라서 문서 특징 φ_d는 커널 η_k에 의해 h_k(φ_d)의 평균과 공분산을 결정하고, 이는 곧 토픽 비율 π_d를 결정한다. 이 구조는 “메타데이터 → 토픽 비율 → 단어”라는 두 단계 흐름을 명확히 분리한다.

핵심 기술적 난제는 디리클레 분포와 정규분포 사이의 비선형 변환을 어떻게 근사하느냐이다. 저자들은 MacKay(1998)의 아이디어를 확장해, 소프트맥스 좌표 y = σ⁻¹(π)에서 디리클레를 라플라스 근사한다. 이때 라플라스 근사는 해시안 L을 정확히 역변환할 수 있도록 2×2 Schur 보완을 이용해 행렬 A와 B를 정의하고, 결과적으로 Σ_{kk}≈1/α_k·(1−2/K)+O(1/K²) 형태의 대각 공분산을 얻는다. 즉, 큰 K(토픽 수)에서는 토픽 비율이 거의 독립적인 가우시안으로 근사된다.

이 근사를 이용하면 변분 추론 단계에서 디리클레 사후를 가우시안 메시지로 변환하고, 다시 가우시안 프로세스 회귀에 입력할 수 있다. 구체적으로, 변분 바운드에서 π_d에 대한 디리클레 사전 α_d와 가짜 카운트 ν_d를 도입해 D(π_d;α_d+ν_d) 형태의 근사 사후를 만든 뒤, 라플라스 변환을 통해 y_d에 대한 정규분포 N(μ_d,Σ_d)를 얻는다. 이후 표준 GP 추론(예: Rasmussen & Williams 2006)과 동일한 형태의 선형 시스템을 풀어 h_k의 사후 평균과 분산을 업데이트한다.

하이퍼파라미터(커널 파라미터, 잡음 τ 등)의 학습은 전통적인 GP와 마찬가지로 증거 최적화(log Z)로 수행한다. 여기서는 완전한 증거를 계산하는 대신, 변분 단계에서 얻은 y_d의 근사 사후를 사용해 p(y|ξ)만을 최적화함으로써 계산 비용을 크게 절감한다. 그러나 이 접근법은 여전히 문서 수 D에 대해 O(D³) 복잡도를 가지며, 대규모 코퍼스에 적용하려면 저차원 근사(예: Nystrom)나 스파스 GP 기법이 필요하다.

실험적 검증은 논문 본문에 상세히 제시되지 않았지만, 2차원 베타-디리클레 분포와 그에 대응하는 가우시안 근사의 시각화(그림 3)와 MCMC와 라플라스 기반 추정의 오차 비교(그림 4)를 통해 근사의 정확성을 확인한다. 특히 α가 작아 스파스한 사전일 때도 근사가 잘 동작함을 보인다.

결과적으로 KTM은 (1) 메타데이터를 커널을 통해 비선형적으로 매핑, (2) 토픽 비율을 연속 잠재공간에 위치시켜 시간·공간·사회적 연관성을 자연스럽게 모델링, (3) 라플라스-디리클레 변환을 통한 효율적인 변분 추론이라는 세 가지 주요 장점을 제공한다. 이는 기존의 동적 LDA, 상관 토픽 모델, 메타데이터 기반 회귀 LDA 등을 일반화하는 프레임워크로 해석될 수 있다.