온라인 제약 최적화의 프라임 듀얼 추정: 확률적 SQP와 최적 추론

초록

본 논문은 확률적 제약 최적화 문제에 대해, 투사 연산 없이도 전적으로 온라인으로 해를 추정하고 프라임‑듀얼 최적성(최소-최대 공분산)을 달성하는 Stochastic Sequential Quadratic Programming (SSQP) 알고리즘을 제안한다. 단계마다 목적함수는 2차 근사, 제약은 1차 근사하여 선형‑이차 서브문제를 풀고, 그래디언트·헤시안 이동 평균(모멘텀)으로 편향을 제거한다. 제약 선형화의 불가능성을 완화하기 위해 스케일 파라미터 θₖ를 도입하고, 전역 거의 확실 수렴과 함께 최적 프라임‑듀얼 공분산을 갖는 점근 정규성을 증명한다. 또한 실용적인 플러그‑인 공분산 추정기를 제공한다. 실험은 비선형, 일반화 선형 모델, 포트폴리오 최적화 등에서 기존 투사 기반 방법을 크게 앞선다.

상세 분석

이 연구는 제약이 있는 확률적 M‑추정 문제를 온라인으로 해결하면서 통계적 추론까지 가능하게 하는 최초의 방법론을 제시한다는 점에서 학문적·실용적 의미가 크다. 기존의 온라인 제약 최적화는 대부분 투사 연산에 의존했으며, 이는 비선형 제약에 대해 전역적인 feasible set Ω를 알 필요가 있어 구현이 어려웠다. 논문은 이를 회피하기 위해 Sequential Quadratic Programming (SQP) 의 아이디어를 확률적 환경에 맞게 변형한다. 구체적으로, k번째 반복에서

\