다항식 목적함수 최적화를 위한 EM·MM 통합 프레임워크

초록

본 논문은 다항식 목적함수를 갖는 일반 최적화 문제를 확률분포의 음의 로그가능도 형태로 변환하고, 이를 EM(Expectation‑Maximization) 혹은 MM(Majorization‑Minimization) 알고리즘으로 해결하는 방법을 제시한다. 특히, 단순한 폴리토프 제약조건 아래에서 지수족(exp​onential family) 분포를 선택하면 EM 단계가 고정 스텝 크기의 자연경사(Natural Gradient) 하강으로 축소됨을 보인다. 세 가지 대표 예시와, 제약이 복잡한 경우에 대한 MM 확장, 그리고 볼록 2차식 최소화 문제에 대한 전역 수렴성을 기존 엔트로피‑유사 근접점 알고리즘과 연결시켜 증명한다.

상세 분석

이 논문은 EM 알고리즘을 “관측 데이터가 전혀 없는” 상황, 즉 완전 결측 데이터 모델로 재해석함으로써 전통적인 통계적 한계를 넘어선다. 핵심 아이디어는 목적함수 f(θ)를 어떤 확률변수 X와 양의 함수 G에 대해 f(θ)=−log E_{p_θ}