강한 볼록 함수에 대한 확률적 경사 하강법의 O(1/T) 수렴률 개선

초록

본 논문은 강하게 볼록한 목표함수에 대해, 반복마다 가중치를 t에 비례하도록 설정한 평균화 방식을 적용하면 전통적인 SGD가 O(κ ln T / T) 수렴률을 보이는 대신 O(κ / T) 의 고확률 수렴률을 달성함을 보인다. 또한 Nesterov 가속을 도입한 변형 알고리즘도 동일한 속도를 얻는다.

상세 분석

논문은 먼저 강하게 볼록하고 L‑Lipschitz 연속인 함수 f에 대해, 확률적 그라디언트 G(x,ξ)가 평균 g(x)와 유한한 분산 Q²를 갖는 전형적인 SGD 설정을 고려한다. 기존 연구에서는 모든 반복을 동일 가중치(1/T)로 평균화하면, 고확률 경계가 O(κ ln T / T) 형태로 나타난다. 저자는 가중치 wₜ를 wₜ = 2t /