온라인 EM 알고리즘을 활용한 잠재 데이터 모델

초록

본 논문은 독립 관측치에 대한 잠재 변수 모델에 적용 가능한 일반화된 온라인(적응형) EM 알고리즘을 제안한다. 기존 Titterington(1984) 방식과 달리 완전 데이터 분포에 대한 적분을 필요로 하지 않으며, 전통적인 EM 절차와 직접 연결된다. 제안된 알고리즘은 Kullback‑Leibler 발산의 정류점으로 수렴하고, 최대우도 추정량과 동일한 최적 수렴 속도를 보인다. 또한 회귀형 혼합 모델, 특히 선형 회귀 혼합에 대한 적용 사례를 제시한다.

상세 분석

이 논문은 확률적 최적화와 베이지안 추정의 교차점에 위치한 온라인 EM(Expectation‑Maximisation) 알고리즘을 체계적으로 재구성한다. 기존의 Titterington(1984) 방식은 완전 데이터(complete‑data) 분포에 대한 기대값을 적분하는 복잡한 단계가 필요했으며, 이는 특히 고차원 잠재 변수나 비선형 구조를 가진 모델에서 계산 비용을 급격히 증가시켰다. 저자들은 이러한 한계를 극복하기 위해 ‘sufficient statistics’ 기반의 누적 업데이트 방식을 도입하였다. 구체적으로, 매 관측치 (Y_t)가 들어올 때마다 E‑step에서 현재 파라미터 (\theta_{t-1})에 대한 조건부 기대값을 계산하고, 이를 충분통계 (S_t)에 가중 평균 형태로 누적한다. M‑step은 누적된 충분통계만을 이용해 파라미터를 업데이트하므로, 완전 데이터 분포에 대한 직접 적분이 필요 없으며, 전통적인 EM 알고리즘의 ‘E‑M’ 구조와 동일한 형태를 유지한다.

수학적으로는 스텝 사이즈 (\gamma_t)를 사용한 Robbins‑Monro 유형의 확률적 근사법을 적용한다. 저자들은 (\sum_t \gamma_t = \infty)와 (\sum_t \gamma_t^2 < \infty) 조건을 만족하는 감소 스텝 크기를 가정하고, 이를 통해 알고리즘이 Kullback‑Leibler 발산 (KL(p_{\text{true}} | p_{\theta}))의 임계점으로 거의 확실히 수렴함을 증명한다. 수렴 속도 분석에서는 Fisher 정보 행렬과 연관된 이차 미분 정보를 활용해, 온라인 EM이 정규 상황에서 최대우도 추정량과 동일한 (\sqrt{n}) 수렴률을 달성함을 보인다. 이는 기존 온라인 EM이 종종 보였던 느린 수렴 문제를 이론적으로 해소한다는 점에서 중요한 기여이다.

또한 논문은 조건부 모델, 특히 혼합 선형 회귀(mixture of linear regressions) 사례에 알고리즘을 적용한다. 여기서는 관측값 ((X_t, Y_t))가 주어졌을 때, 잠재 군집 변수 (Z_t)를 도입하고, 각 군집별 회귀 계수와 분산을 동시에 추정한다. 온라인 EM은 각 데이터 포인트마다 군집 책임도(posteriors)와 충분통계(예: (X_tY_t), (X_tX_t^\top))를 업데이트함으로써, 실시간으로 모델 파라미터를 적응시킨다. 실험 결과는 배치 EM에 비해 메모리 사용량이 크게 감소하고, 동일한 데이터 스트림에 대해 빠른 수렴을 보이며, 특히 데이터 양이 방대하거나 실시간 처리 요구가 있는 상황에서 유용함을 입증한다.

전반적으로 이 연구는 온라인 EM을 기존 EM과 동일한 직관적 구조 안에 통합하면서, 수학적 수렴 보장과 최적 속도 특성을 동시에 제공한다는 점에서 이론적·실용적 의미가 크다.