무거운 꼬리 잡음에 강한 확률적 이중 최적화

초록

본 논문은 하위 문제는 강하게 볼록하고 상위 문제는 비볼록일 수 있는 이중 최적화에서, 평균이 0이지만 중앙 p‑차 모멘트만 유한한 무거운 꼬리 잡음(1 < p ≤ 2)을 가정한다. 저자는 중첩 루프와 정규화 기법을 결합한 N²SBA 알고리즘을 제안하고, SFO 복잡도를 ˜O(κ^{(7p‑3)/(p‑1)} σ^{p/(p‑1)} ε^{-(4p‑2)/(p‑1)}) 로 달성한다. 또한 비볼록‑강볼록 미니맥스 문제에 N²SGDA를 적용해 ˜O(κ^{(2p‑1)/(p‑1)} σ^{p/(p‑1)} ε^{-(3p‑2)/(p‑1)}) 의 복잡도를 얻는다. 이 결과는 기존의 제한된 분산(p=2) 분석을 일반화하며, 실험을 통해 실용성을 확인한다.

상세 분석

이 논문은 최근 머신러닝 실무에서 흔히 관측되는 무거운 꼬리 잡음, 즉 분산이 무한하거나 중앙 p‑차 모멘트만 제한된 상황을 수학적으로 모델링한다. 기존의 확률적 이중 최적화 연구는 대부분 잡음의 분산이 유한하다는 가정(p=2) 하에 복잡도 분석을 수행했으며, 이는 대규모 언어 모델 학습이나 강화학습처럼 고차원·대용량 데이터에서 현실적이지 않다. 저자는 이러한 한계를 극복하기 위해 두 가지 핵심 아이디어를 도입한다. 첫째, 문제를 페널티화된 형태 L*λ(x)=min_y f(x,y)+λ