숨은 마르코프 모델을 위한 조정된 비터비 훈련

초록

본 논문은 전통적인 EM 알고리즘 대신 사용되는 비터비 훈련(Viterbi training)의 편향과 일관성 문제를 해결하기 위해, 동일한 계산 복잡도를 유지하면서도 추정 정확도를 크게 향상시키는 ‘조정된 비터비 훈련(Adjusted Viterbi Training)’을 제안한다. 기존 연구에서 혼합 모델에 대해 제시된 아이디어를 일반적인 숨은 마르코프 모델(HMM)으로 확장하고, 수학적 증명을 통해 조정된 추정량이 점근적으로 무편향이며 일관적임을 보인다.

상세 분석

비터비 훈련은 관측 시퀀스에 대해 가장 가능성이 높은 상태 경로(비터비 경로)를 찾고, 그 경로에 기반해 파라미터를 최대우도 추정한다. 계산량이 EM에 비해 현저히 적어 실시간 음성 인식 시스템에서 널리 쓰이지만, 실제 파라미터와의 차이가 시스템 전반에 누적되어 성능 저하를 일으킨다. 논문은 이러한 편향의 근본 원인을 ‘비터비 경로가 실제 숨은 상태 분포를 정확히 반영하지 못한다’는 점으로 규정한다.

조정된 비터비 훈련은 두 단계로 구성된다. 첫 번째는 전통적인 비터비 경로를 구하는 단계이며, 두 번째는 그 경로를 이용해 기대 충분통계(expectation of sufficient statistics)를 계산하고, 이를 기존 최대우도 추정식에 보정항으로 추가한다. 보정항은 비터비 경로가 실제 숨은 상태 분포와 얼마나 차이 나는지를 정량화한 함수이며, 대규모 표본에서 그 차이가 0에 수렴하도록 설계되었다.

수학적으로는, 관측 시퀀스 (X_{1:T})와 숨은 상태 (S_{1:T})에 대해 완전 데이터 로그우도 ( \ell(\theta; X,S) )를 고려한다. EM은 (Q(\theta|\theta^{(k)}) = \mathbb{E}_{\theta^{(k)}}