숨은 마코프 모델 클러스터링을 위한 변분 HEM 알고리즘

초록

본 논문은 숨은 마코프 모델(HMM)들의 확률 분포를 직접 비교하여 군집화하는 새로운 변분 계층적 EM(VHEM) 알고리즘을 제안한다. 기존의 파라미터 공간 군집화나 스펙트럴 클러스터링은 군집 중심을 기존 HMM 중 하나로만 표현할 수 있었지만, VHEM은 각 군집을 대표하는 새로운 HMM을 학습한다. 변분 하한을 이용해 E‑step과 M‑step을 정의하고, 가중치·전이 행렬·가우시안 혼합 방출 모델을 반복적으로 업데이트한다. 실험은 동작 데이터, 음악 메타데이터, 온라인 필기 인식 등에서 기존 방법 대비 군집 품질과 모델 압축 효율이 우수함을 보여준다.

상세 분석

이 논문은 HMM을 직접 확률 분포 공간에서 군집화하려는 근본적인 문제에 접근한다. 기존 방법은 HMM 파라미터를 유클리드 공간에 그대로 매핑하거나, Battacharyya 거리와 같은 유사도 행렬을 만든 뒤 스펙트럴 클러스터링을 적용했지만, 파라미터가 비선형 매니폴드 위에 존재하기 때문에 군집 중심을 새로운 HMM 형태로 생성하지 못했다. 저자들은 이러한 한계를 극복하기 위해 계층적 EM(HEM) 프레임워크를 변분 형태로 확장한다. 핵심 아이디어는 “가상 샘플”을 무한히 많이 생성한다고 가정하고, 실제 샘플이 아닌 기대값을 이용해 로그우도 하한을 만든다.

먼저 베이스 H3M 모델 M(b)와 축소된 모델 M(r) 사이의 KL 발산을 최소화하는 목표 함수를 정의한다. 가상 샘플 Y_i 를 각 베이스 컴포넌트 i 에 대해 N_i = N·ω_i^(b) 개 생성하고, 각 샘플이 축소 모델의 어느 컴포넌트 j 에 할당될지 나타내는 변분 변수 z_ij 를 도입한다. 이때 z_ij 는 확률적 할당이 아니라 “전체 샘플이 동일한 컴포넌트에 귀속된다”는 제약을 두어 군집의 일관성을 보장한다.

다음 단계에서는 숨은 상태 시퀀스 x_{1:τ} 를 직접 다루기 어려우므로, Hershey(2014)의 변분 근사를 차용한다. 변분 분포 P_{i,j}(β_{1:τ}) 를 마코프 체인 형태 φ_{i,j} 로 제한하고, 방출 모델의 가우시안 혼합 성분 간 책임 행렬 η_{i,β}^{(j,ρ)} 를 도입한다. 이렇게 하면 기대 로그우도 E_{M(b)}