무작위 스케일링 기반 2차 모멘텀 최적화 RanSOM

초록

RanSOM은 스텝 사이즈를 확률적으로 샘플링함으로써 모멘텀의 곡률 편향을 정확히 보정한다. 단일 Hessian‑vector product만으로 편향을 추정해 추가 연산 없이 최적의 O(ε⁻³) 수렴률을 달성하며, 지수분포와 베타분포를 각각 무제한·제한 최적화에 적용한다.

상세 분석

본 논문은 비볼록 확률적 최적화에서 기존 모멘텀 방법이 겪는 “곡률 편향”(bias) 문제를 근본적으로 해결한다. 전통적인 Heavy‑Ball이나 SGDM은 과거 기울기를 누적하지만, 파라미터가 이동한 경로상의 Hessian 변동을 무시해 편향이 발생한다. 기존 교정 기법은 두 가지 한계가 있다. 첫째, 편향을 추정하기 위해 추가적인 샘플링(예: STORM의 두 번의 그래디언트, SOM‑Unif의 보조 점)이나 고차 미분(히스시안 Lipschitz) 가정이 필요해 계산 비용이 크게 늘어난다. 둘째, 이러한 방법들은 개별 손실 함수 fₓ가 매끄럽다는 강한 가정에 의존해 ReLU와 같은 비매끄러운 네트워크에 적용하기 어렵다.

RanSOM은 스텝 사이즈 sₜ를 확률 변수로 두고, E