상관 토픽 모델을 위한 프로빗 정규 접근

본 논문은 문서 집합에서 토픽 간 상관관계를 모델링하는 새로운 접근법을 제안한다. 기존의 상관 토픽 모델(Correlated Topic Model, CTM)은 로지스틱 정규 분포를 사용해 η 벡터를 다변량 정규에서 샘플링하고, 소프트맥스 함수를 통해 토픽 비율 θ를 얻는다. 그러나 소프트맥스는 비공액성을 초래해 변분 추정이나 메트로폴리스-헤이스팅 샘플링 등 복잡한 추정 절차가 필요하고, 대규모 토픽 수에서는 계산 비용이 급증한다. 이에 저자들은 프로빗 정규 모델을 도입한다. 프로빗 변환은 누적정규분포 Φ를 이용해 θ k = (1‑Φ(‑η k))∏_{j≠k}Φ(‑η j) 로 정의되며, 이는 η 와 θ 사이의 관계를 비선형이지만 공액적인 형태로 만든다. 하지만 전통적인 다항 프로빗은 고차원 적분이 필요하고, η와 보조 변수 Y 사이의 강한 의존성 때문에 K가 중간 규모(예: 10~100)일 때도 샘플링이 비효율적이다. 이를 해결하기 위해 ‘대각 정방형 프로빗(diagonal orthant probit)’ 기법을 차용한다. 이 방법은 각 토픽에 대해 이진 프로빗을 독립적으로 적용하고, 전체 토픽 비율을 정규화하는 방식이다. 구체적으로, 각 문서 d에 대해 K차원 보조 변수 행렬 Y _d ∈ ℝ^{N_d×K} 를 도입한다. n번째 단어의 현재 토픽 할당이 k일 경우, Y_{dnk}는 평균 η_{dk}, 분산 1인 양의 절단 정규분포 N⁺(η_{dk},1)에서 샘플링하고, 다른 토픽 j≠k에 대해서는 평균 η_{dj}, 분산 1인 음의 절단 정규분포 N⁻(η_{dj},1)에서 샘플링한다. 이렇게 하면 Y_{dnk}가 해당 토픽에 대해 가장 큰 값을 갖는 조건이 자동으로 만족되므로, 복잡한 최대값 제약을 회피할 수 있다. 베이지안 추론은 다음 단계로 구성된다. 1. η _d | Y _d, μ, Σ ∼ MVN(μ_{η_d}, Σ_{η_d}) 로 닫힌 형태의 정규 업데이트가 가능하다. 여기서 μ_{η_d}=Σ_{η_d}(Σ^{-1}μ+X_d^T A^{-1}vec(Y_d))이며, Σ_{η_d}=(Σ^{-1}+X_d^T A^{-1}X_d)^{-1}이다. X_d는 N_d⊗I_K 로 정의된 디자인 행렬이며, A는 대각 행렬(절단 정규의 분산)이다. 2. 토픽 할당 Z_{dn}는 전통적인 라티스-시드(LDA)와 동일하게 다항분포 θ_d 에서 샘플링한다. Gibbs 단계에서는 주변 단어 빈도와 β 하이퍼파라미터를 이용해 조건부 확률을 계산한다. 3. μ와 Σ는 정규‑역와이샤트(NIW) 사전으로 설정해 공액성을 유지한다. 따라서 μ, Σ 의 사후도 역시 NIW 형태가 되며, 샘플링은 표준 공식을 사용한다. 이러한 구조는 메트로폴리스 단계가 전혀 필요 없으며, 모든 파라미터 업데이트가 닫힌 형태이므로 샘플링 효율이 크게 향상된다. 실험에서는 2,244개의 AP 기사와 10,473개의 어휘를 포함한 코퍼스를 사용한다. 전처리 후 어휘 수를 2,643으로 축소하고, K를 20, 50, 100, 200 등으로 변동시켜 모델을 학습한다. 결과는 다음과 같다. - 대각 정방형 프로빗은 전통적인 다항 프로빗에 비해 샘플링 시간당 10~15배 빠른 속도를 보였다. 특히 K=100 이상에서 전통 프로빗은 수렴조차 이루어지지 않았지만, 제안 모델은 안정적으로 수렴했다. - 로그우도는 K가 증가함에 따라 점진적으로 향상되었으며, K≈150에서 포화 현상이 나타났다. 이는 적절한 토픽 수를 선택하는 데 유용한 지표가 된다. - 추정된 공분산 행렬 Σ를 시각화한 결과, ‘항공·날씨’, ‘정치·국제 관계’, ‘경제·주식 시장’ 등 직관적인 토픽 쌍 간 양의 상관관계가 명확히 드러났다. 이는 로지스틱 정규 모델이 IIA 가정을 강제해 놓을 수 있는 제한을 넘어서는 표현력을 보여준다. 논문의 마지막에서는 향후 연구 방향을 제시한다. 첫째, 온라인 Gibbs 샘플링이나 변분 추정과 결합해 실시간 대규모 스트리밍 데이터에 적용할 수 있다. 둘째, 현재는 단어 수준의 토픽 할당에 초점을 맞추었지만, 문장 혹은 문서 레벨의 계층적 구조에도 확장 가능하다. 셋째, 비정형 데이터(이미지 캡션, 소셜 미디어 텍스트)와 결합해 멀티모달 토픽 모델링에 적용할 여지가 있다. 결론적으로, 이 논문은 프로빗 정규 분포와 대각 정방형 보조 변수 설계를 통해 상관 토픽 모델링에서 계산 효율성과 모델 표현력을 동시에 달성한 혁신적인 방법을 제시한다.