실시간 EM: 대용량·스트림 데이터에 최적화된 기대‑최대화 기법

본문 발췌

본 장에서 방법론적 세부 사항을 논하기에 앞서, “online(추정)”과 “Expectation‑Maximisation(알고리즘)”이라는 두 용어가 어떻게 결합되는지, 그리고 이러한 결합이 혼합 모델 및 보다 일반적인 잠재 변수 모델에서 왜 중요한지를 먼저 살펴보겠습니다.

형용사 online은 데이터를 저장하지 않고도 실시간으로 모델 파라미터 추정을 수행하며, 새로운 관측치가 들어올 때마다 추정값을 지속적으로 갱신한다는 개념을 의미합니다. 머신러닝 문헌에서는 최근 online learning이라는 표현이 관측치를 순차적으로 도입하면서 알고리즘의 성능을 분석하는 특정 방법론을 가리키는 경우가 많습니다(Césa‑Bianchi & Lugosi, 2006). 여기서는 그 접근법을 다루지 않으며, 통계 모델의 고정 파라미터를 추정하고, 추정값과 실제 파라미터 간의 근접성을 성능 지표로 삼는 전통적인 설정만을 고려합니다. 신호 처리와 제어 분야에서는 아래에서 다룰 알고리즘들을 흔히 adaptive 혹은 recursive 알고리즘이라고 부릅니다(Ljung & Söderström, 1983; Benveniste et al., 1990). 컴퓨터 과학에서 recursive라는 용어는 매우 일반적이어서 다소 모호하게 쓰일 수 있으므로 사용을 권장하지 않습니다. adaptive라는 표현은 본 장에서 다루는 알고리즘을 의미하기도 하지만, 모델 파라미터의 서서히 변하는 드리프트나 급격한 변화를 추적하는 상황에서도 자주 쓰이는데, 이는 우리의 주요 관심사가 아닙니다.

전통적인 온라인 알고리즘의 적용 사례는 데이터의 부피와 샘플링 속도 때문에 데이터를 저장할 수 없는 경우(예: 실시간 신호 처리, 스트림 마이닝)입니다. 또한 수천·수백만 개의 샘플을 포함하는 초대형 데이터셋이 널리 활용되면서 온라인 알고리즘에 대한 관심이 다시 부각되었습니다. 이러한 상황에서 온라인 알고리즘은 목표 파라미터값에 더 빠르게 수렴하고, 메모리·디스크 접근량 등 컴퓨팅 자원을 배치(batch) 방식보다 적게 소모하는 경우가 많습니다(Neal & Hinton, 1999). 본 장에서는 두 가지 상황 모두를 다룹니다. 즉, 무한히 늘어날 수 있는 데이터 스트림을 실시간으로 처리하는 경우와, 고정되어 있지만 매우 큰 데이터셋에 적용하는 경우(이를 batch estimation mode라 부릅니다).

우리의 주요 관심은 최대우도 추정(maximum‑likelihood estimation)이며, 필요에 따라 페널티 항을 추가한 MAP(maximum a posteriori) 추정도 고려할 수 있습니다. 그러나 파라미터 사후분포를 순차적으로 시뮬레이션하는 “완전 베이지안”(fully Bayesian) 방법은 다루지 않습니다. 이러한 제한의 근본적인 이유는 온라인 방법이 성공하려면 계산적으로 단순한 반복(iteration)이 필수적이기 때문입니다. 특히 온라인 알고리즘을 배치 추정에 활용할 경우, 각 파라미터 업데이트가 매우 효율적으로 수행되어야 기존 배치 추정 알고리즘과 경쟁할 수 있습니다. 완전 베이지안 접근법(예: Chopin, 2002)은 단순 모델이라 할지라도 일반적으로 몬테카를로 시뮬레이션을 필요로 하며, 매우 긴 데이터 기록에 적용할 경우 안정성 문제가 발생하기도 합니다(Kantas et al., 2009).

각 파라미터 업데이트를 가능한 한 단순하게 유지하려는 목표는 EM(Expectation‑Maximisation) 알고리즘에 집중하게 만든 또 다른 이유이기도 합니다. Dempster 등(1977)이 EM 알고리즘을 처음 제안한 이후, 그 수렴 속도가 최적이 아니다는 비판을 받아 왔으며, Lange(1995), Meng & Van Dyk(1997) 등 다양한 변형이 제안되었습니다. 그럼에도 불구하고 Dempster와 공동 저자들의 기념비적 논문이 발표된 지 30년이 지난 현재까지도 EM 알고리즘은 수치적 안정성과 구현 용이성 덕분에 잠재 변수 모델에 가장 널리 사용되는 추론 도구입니다. 여기서 우리의 핵심 주장은 EM 알고리즘 자체를 옹호하기 위함이 아니라, 온라인 환경에서 효율적으로 적용할 수 있는 단순하고 계산량이 적은 업데이트 메커니즘을 제공한다는 점을 강조하는 데 있습니다.

(이하 본문은 이어집니다.)