온라인 기대 최대화 알고리즘

초록

본 장은 온라인 기대‑최대화(Online EM) 방법을 체계적으로 소개한다. 데이터가 순차적으로 도착하고 메모리 제한이 있을 때, 전통적인 EM의 반복 계산을 대체할 수 있는 확률적 업데이트 규칙과 수렴 이론을 설명한다. 또한 혼합 모델, 은닉 마코프 모델 등 다양한 잠재 변수 모델에 적용하는 구체적 절차와 구현 팁을 제공한다.

상세 분석

온라인 EM은 고전적인 기대‑최대화(EM) 알고리즘을 확장하여, 데이터가 한 번에 전체를 이용할 수 없거나 실시간으로 처리해야 하는 상황에 적합하도록 설계되었다. 핵심 아이디어는 완전 데이터 로그우도에 대한 충분통계량을 점진적으로 업데이트하는 것이다. 구체적으로, 매 시점 t에서 관측값 (Y_t)가 들어오면, 현재 파라미터 (\theta_{t-1})를 이용해 기대 단계(E‑step)에서 조건부 충분통계량 (S_t = \mathbb{E}{\theta{t-1}}