미니배치 SGD에서 확률적·결정적 그래디언트의 비대칭 영향 분석

초록

본 논문은 데이터 손실 F(x)의 그래디언트를 미니배치로 확률적으로 추정하고, 정규화 항 h(x)의 그래디언트를 정확히 계산하는 구조화된 최적화 문제에 대해, 두 부분이 SGD 수렴에 미치는 서로 다른 역할을 이론적으로 규명한다. 강한 볼록성 및 L‑스무스 가정 하에, 단계 크기, 수렴 속도, 수렴 영역 반경이 f_i와 h의 리프시츠 상수에 비대칭적으로 의존함을 보이며, 배치 크기가 커질수록 전통적인 전경사 하강법과 동일한 선형 수렴률을 회복한다. 실험은 로지스틱 회귀를 통해 이론을 검증한다.

상세 분석

논문은 구조화된 목표함수 ψ(x)=F(x)+h(x) 를 두 부분으로 분리하고, 미니배치 SGD x_{k+1}=x_k−η_k