다중 마코프 체인 혼합 모델의 자동 구성과 변분 EM

초록

본 논문은 단일 마코프 체인으로는 설명하기 어려운 이질적 시계열 데이터를 다중 마코프 체인 혼합 모델로 표현하고, 변분 기대-최대화(VEM) 알고리즘을 이용해 혼합 구성 요소 수와 각 체인의 전이 행렬을 자동으로 추정한다. 이론적으로 KL 발산에 기반한 분류 오류 하한을 제시하고, 합성 데이터와 실제 Last.fm 청취 기록, 울트라마라톤 달리기, 유전자 발현 데이터에 적용해 의미 있는 이질성을 발견한다.

상세 분석

논문은 기존 마코프 상태 모델링이 단일 체인 가정에 의존해 데이터의 이질성을 포착하지 못한다는 문제점을 지적하고, 이를 해결하기 위해 유한 상태 공간에서 K개의 마코프 체인으로 구성된 혼합 모델을 도입한다. 모델 정의는 잠재 변수 Z∈{1,…,K}와 각 체인별 초기 분포 ν_i, 전이 행렬 P_i, 그리고 혼합 비율 μ_i 로 구성된다. 핵심 기여는 두 가지이다. 첫째, 변분 EM을 적용해 증거 하한(Lower Bound)을 최대화함으로써 혼합 비율과 파라미터를 동시에 추정하고, 변분 분포 q(Z) 를 통해 자동으로 K 를 조정한다. 변분 단계에서는 q_i ∝ μ_i exp( E_{Y|Z=i}