연속시간 동적 토픽 모델

초록

연속시간 동적 토픽 모델(cDTM)은 문서 시계열에 대해 토픽을 연속적인 확률 과정, 즉 브라운 운동으로 모델링한다. 변분 추론을 이용해 관측의 희소성을 활용함으로써 시간 granularity에 구애받지 않는 효율적인 학습이 가능하며, 기존 이산시간 dDTM이 갖는 시간 이산화와 복잡도 급증 문제를 해결한다. 뉴스 데이터셋을 대상으로 예측 퍼플렉시티와 타임스탬프 예측 실험을 수행해 모델의 우수성을 입증한다.

상세 분석

cDTM은 동적 토픽 모델링 분야에서 시간 연속성을 직접적으로 반영한다는 점에서 혁신적이다. 기존 dDTM은 문서가 발생한 시점을 미리 정의된 구간으로 나누어 각 구간마다 별도의 토픽 파라미터를 추정한다. 이 방식은 시간 구간을 세밀하게 설정하면 파라미터 수가 급증해 변분 추론의 계산량이 기하급수적으로 늘어난다. 반면 cDTM은 토픽의 로그-워드 분포를 시간에 따라 브라운 운동(Brownian motion)이라는 연속 확률 과정으로 모델링한다. 브라운 운동은 마르코프성, 가우시안 증분, 그리고 연속적인 경로 특성을 갖기 때문에, 토픽이 부드럽게 변하면서도 급격한 변화를 포착할 수 있다.

변분 추론에서는 각 문서의 토픽 비율 θ와 토픽 파라미터 β를 근사 posterior로 두고, ELBO를 최적화한다. 핵심은 관측 단어가 매우 희소하다는 사실을 이용해 β의 시간에 따른 가우시안 사전과 관측 likelihood를 결합한 Kalman filter‑like 업데이트를 수행한다는 점이다. 이 과정에서 시간 간격 Δt가 크든 작든 동일한 복잡도로 처리할 수 있어, 수천 개의 타임스탬프를 가진 대규모 코퍼스에도 적용 가능하다. 또한, 변분 파라미터를 스파스하게 유지함으로써 메모리 사용량을 크게 줄인다.

실험에서는 두 개의 뉴스 데이터셋(예: Reuters와 NYT)에서 모델을 학습시켰다. 퍼플렉시티 측면에서 cDTM은 동일한 시간 granularity를 가진 dDTM보다 현저히 낮은 값을 기록했으며, 시간 granularity를 미세하게 조정해도 성능 저하가 거의 없었다. 추가로 제안된 타임스탬프 예측 과제에서는 문서의 토픽 분포만을 이용해 발생 시점을 추정했을 때, cDTM이 dDTM보다 높은 정확도를 보였다. 이는 연속적인 시간 모델링이 실제 시간 정보를 더 잘 보존한다는 증거이다.

이 논문은 동적 토픽 모델링에 연속시간 확률 과정을 도입함으로써, 시간 해상도와 계산 효율성 사이의 트레이드오프를 크게 완화한다는 점에서 학문적·실용적 의의를 가진다. 향후 확장 가능성으로는 비가우시안 확산 과정, 토픽 간 상호작용 모델링, 그리고 실시간 스트리밍 데이터에 대한 온라인 변분 업데이트 등이 있다.