EM 알고리즘과 근접 일반화

초록

본 논문은 EM 알고리즘을 근접점 알고리즘 관점에서 재해석하고, Kullback‑proximal 알고리즘이라는 새로운 일반화를 제시한다. 이를 통해 군집점의 존재와 경계점에서의 수렴 특성을 새롭게 규명한다.

상세 분석

EM(Expectation‑Maximization) 알고리즘은 불완전 데이터 모델의 최대우도 추정을 위한 대표적 반복법으로, E‑단계에서 현재 파라미터를 이용해 완전 데이터의 기대 로그우도를 계산하고, M‑단계에서 이를 최대화한다. 기존 연구에서는 EM을 MM(majorize‑minimize) 혹은 변분 베이즈 프레임워크와 연결시켜 해석했으나, 본 논문은 이를 근접점 알고리즘(proximal point algorithm, PPA)의 특수 형태로 보는 새로운 시각을 제공한다. 근접점 알고리즘은 매 반복마다 원래 목적함수에 거리(또는 발산) 항을 추가해 안정적인 업데이트를 보장한다는 점에서 EM과 구조적으로 유사하다. 특히 Kullback‑Leibler(KL) 발산을 거리 함수로 채택한 Kullback‑proximal 알고리즘은 EM의 E‑단계에서 계산되는 기대 로그우도와 동일한 형태의 하한을 제공한다. 논문은 이 일반화가 기존 EM을 포함함을 보이며, KL 발산이 비대칭적이므로 업데이트가 비대칭적인 근접 연산으로 해석될 수 있음을 강조한다.

핵심 기여는 두 가지이다. 첫째, Kullback‑proximal 프레임워크 내에서 군집점(cluster point)의 존재와 수렴성을 일반적인 조건 하에 증명한다. 기존 EM 수렴 이론은 파라미터 공간이 열린 집합이고 목적함수가 연속이며 미분 가능할 때만 적용 가능했으나, 본 연구는 파라미터가 경계에 닿는 경우에도 수렴을 보장한다. 이를 위해 KL 발산의 하한 특성과 하위 수준 함수의 준볼록성(semiconvexity)을 이용해, 제한된 영역에서도 충분히 감소하는 시퀀스를 구성한다. 둘째, 경계에 위치한 군집점에 대한 상세 분석을 제공한다. 파라미터가 0이나 무한대로 수렴하는 경우, 일반적인 미분 기반 수렴 증명은 실패한다. 논문은 이러한 경우를 다루기 위해 변분적 하위미분(subgradient) 개념과 제한된 도메인에서의 강제 수렴 강도를 도입한다. 결과적으로, 파라미터가 경계에 머무르더라도 로그우도는 수렴하고, 해당 점이 실제 최적점인지 혹은 수렴하지 못하는 임계점인지를 판별할 수 있는 기준을 제시한다.

또한, Kullback‑proximal 알고리즘이 기존 EM보다 더 넓은 클래스의 문제에 적용 가능함을 시연한다. 예를 들어, 파라미터가 확률분포의 형태를 갖는 경우(다항, 베타, 디리클레)나, 제약조건이 비선형인 경우에도 KL 발산을 거리로 사용하면 근접 연산이 자연스럽게 제약을 반영한다. 이러한 일반화는 EM의 수렴 속도가 느리거나 발산하는 상황에서 대안적인 업데이트 규칙을 제공한다는 점에서 실용적이다. 마지막으로, 수치 실험을 통해 Kullback‑proximal 알고리즘이 기존 EM 대비 동일하거나 더 빠른 수렴을 보이며, 특히 파라미터 경계 근처에서 안정적인 동작을 확인한다.