강인한 수렴: 강한 볼록성 없이도 선형 수렴을 보장하는 변동 감소 확률 경사법

초록

본 논문은 강한 볼록성 없이도 변동 감소(Stochastic Variance‑Reduced) 기법인 Prox‑SVRG와 그 투사형 변형인 VRPSG가 선형 수렴률을 달성한다는 이론을 제시한다. 핵심은 제약 및 정규화 문제에 대해 ‘반강볼록(Semi‑Strongly Convex, SSC)’ 부등식을 증명한 것으로, 이를 통해 기존 강한 볼록성 가정 없이도 기대값 기준 선형 수렴을 보장한다.

상세 분석

논문은 대규모 머신러닝 최적화에서 널리 쓰이는 확률 경사법(SGD)의 수렴 속도가 분산 때문에 서브선형에 머무르는 문제를 지적한다. 최근 변동 감소 기법(SVRG, Prox‑SVRG 등)은 강한 볼록성(strong convexity) 하에서 선형 수렴을 보였지만, 실제 데이터에서는 강한 볼록성이 성립하지 않는 경우가 많다. 저자들은 이러한 격차를 메우기 위해 두 가지 알고리즘, Prox‑SVRG와 그 투사형 변형인 VRPSG를 비강볼록 제약 문제와 정규화 문제에 적용한다. 핵심 이론적 기여는 ‘반강볼록(SSC) 부등식’이다. SSC는 임의의 실현 가능한 점 w와 최적점 집합 Π_{W*}(w) 사이의 거리 ‖w‑Π_{W*}(w)‖²가 목표 함수값 차이 f(w)‑f*에 비례한다는 형태이며, 이는 강한 볼록성 대신에 h(·)가 제한된 컴팩트 집합에서 강하게 볼록함을 이용해 증명한다. 저자는 A1‑A3(제약)와 B1(정규화) 가정 하에 SSC를 성립시켜, 변동 감소 알고리즘의 기대값 수렴 분석에 직접 적용한다.

알고리즘 구조는 두 단계 루프를 갖는다. 외부 루프에서 전체 데이터에 대한 완전 그라디언트 ξ̃를 계산하고, 내부 루프에서 샘플 i_{kt}를 무작위로 선택해 보정된 그라디언트 v_{kt}= (∇f_{i_{kt}}(w_{kt-1})‑∇f_{i_{kt}}(w̃)) / (n p_{i_{kt}}) + ξ̃ 를 만든다. VRPSG는 이 v_{kt}에 투사 연산 Π_W를 적용해 w_{kt}=Π_W(w_{kt-1}‑η v_{kt}) 로 업데이트하고, m번 반복 후 평균을 새로운 기준점 w̃으로 설정한다. Prox‑SVRG는 투사 대신에 r(w) 정규화 항을 포함한 근접 연산을 수행한다.

정리 1·2는 η와 반복 횟수 m을 적절히 선택하면 수렴 계수 ρ<1이 보장되고, E