온라인 EM 알고리즘을 이용한 숨은 마코프 모델 파라미터 추정

초록

본 논문은 숨은 마코프 모델(HMM)의 고정 파라미터를 실시간으로 추정하기 위해, 완전 데이터 충분통계량을 이용한 EM 재파라미터화와 보조 재귀식을 통한 순환 스무딩을 결합한 온라인 EM 알고리즘을 제안한다. 기존 Robbins‑Monro 형태와는 차별화된 구조로 수렴 이론을 제한적으로 제공하고, 잡음이 섞인 마코프 체인 시뮬레이션을 통해 대용량 데이터에서 최대우도 추정치와 동등한 성능을 확인하였다.

상세 분석

이 논문은 숨은 마코프 모델(HMM)에서 파라미터를 오프라인이 아닌 온라인, 즉 데이터가 순차적으로 들어올 때마다 즉시 업데이트하는 방법을 탐구한다는 점에서 의미가 크다. 전통적인 EM 알고리즘은 전체 데이터셋을 한 번에 사용해 기대값(E‑step)과 최대화(M‑step)를 반복하지만, 온라인 환경에서는 전체 데이터를 보관할 수 없고 실시간 응답이 요구된다. 저자들은 두 가지 핵심 아이디어를 결합해 이 문제를 해결한다. 첫 번째는 “완전 데이터 충분통계량(sufficient statistics of the complete data)”을 이용해 파라미터를 재파라미터화하는 전통적인 EM 접근법이다. HMM에서는 숨은 상태와 관측값의 결합 확률을 충분통계량으로 표현하면, M‑step이 단순한 평균이나 비율 계산으로 변환된다. 두 번째는 “보조 재귀(auxiliary recursion)”를 이용한 순환 스무딩이다. 기존의 전방‑후방 알고리즘은 전체 시퀀스를 한 번에 통과해야 하지만, 보조 재귀는 현재 시점까지의 필터링 결과와 이전 단계의 스무딩 정보를 재귀적으로 결합해 O(1) 메모리와 O(N) 연산으로 실시간 스무딩을 가능하게 한다.

알고리즘 자체는 Robbins‑Monro 형태의 확률적 근사와 유사하지만, 두 단계가 서로 얽혀 있어 전통적인 확률적 근사 수렴 이론을 바로 적용하기 어렵다. 저자들은 제한된 수학적 분석을 통해, 단계별 업데이트가 일정한 학습률(γ_t) 하에서 점근적으로 안정된 점(잠재적 수렴점)으로 수렴한다는 결과를 제시한다. 특히, 충분통계량의 누적 평균이 실제 충분통계량에 수렴하고, 파라미터 업데이트가 이 평균에 기반하므로 큰 표본에서는 최대우도 추정치와 동일한 일관성을 보인다.

실험에서는 “노이즈가 섞인 마코프 체인”이라는 간단한 HMM을 설정하고, 다양한 샘플 크기(N=10^3~10^6)에서 알고리즘을 실행했다. 결과는 평균 제곱 오차(MSE)와 로그우도 관점에서 전통적인 배치 EM 혹은 직접 최대우도 추정과 거의 차이가 없으며, 특히 샘플이 충분히 클 때는 수렴 속도가 급격히 빨라진다. 또한 학습률 스케줄(γ_t = t^{-α}, 0.5<α≤1)을 조절함으로써 초기 과적합을 방지하고, 수렴 안정성을 향상시킬 수 있음을 보였다.

이 논문의 주요 기여는 다음과 같다. 1) 완전 데이터 충분통계량을 이용해 온라인 EM의 M‑step을 단순화, 2) 보조 재귀 기반 순환 스무딩을 도입해 실시간 필터링과 스무딩을 동시에 수행, 3) 기존 Robbins‑Monro 분석이 적용되지 않는 새로운 구조에 대한 제한적이지만 의미 있는 수렴 이론 제공, 4) 대규모 시뮬레이션을 통해 실제 적용 가능성을 검증. 다만, 현재 이론적 결과는 수렴점의 존재와 점근적 분포에 국한되며, 비정상적인 학습률이나 모델 구조(예: 다중 숨은 상태, 연속 관측)에서는 추가 연구가 필요하다. 향후 연구에서는 강한 수렴 보장, 비정규화된 모델, 그리고 실제 금융·신호 처리 데이터에 대한 적용을 탐색할 여지가 있다.