일반화된 청의 보조정리와 다양한 스텝 사이즈 적용을 통한 확률 최적화 수렴 분석

초록

본 논문은 전통적인 청의 보조정리(Chung’s Lemma)를 확장하여, 다항식, 상수, 지수, 코사인 형태의 스텝 사이즈 규칙을 포괄하는 일반적인 재귀식에 대한 비대칭적(non‑asymptotic) 수렴 상한을 제공한다. 이를 기반으로 (θ, μ)‑Polyak‑Łojasiewicz(PL) 조건 하에서 확률적 경사 하강법(SGD)과 랜덤 리셰플링(RR)의 수렴 속도를 새롭게 분석하고, 특히 지수형 스텝 사이즈가 함수 지형과 잡음에 동시에 적응하면서 최적의 수렴률을 달성함을 보인다.

상세 분석

논문은 먼저 청의 보조정리의 고전적 형태 a_{k+1} ≤ (1−c/k^{p})a_k + d/k^{p+q} 를 재해석한다. 기존 결과는 p가 다항식 감소 스텝 사이즈에만 적용될 수 있었으며, 비대칭적 수렴 속도는 asymptotic 한정에 머물렀다. 저자들은 이를 일반화하기 위해 a_{k+1} ≤ (1−1/s(b_k))a_k + 1/t(b_k) 형태의 재귀식을 도입한다. 여기서 s(·), t(·)는 연속적으로 미분 가능한 양함수이며, b_k는 스텝 사이즈와 직접 연관된 매개변수(예: α_k, β_k 등)이다. 핵심 가정은 r(b)=s(b)/t(b) 가 일정 구간 I에서 볼록(convex)함을 요구하는데, 이는 대부분의 스텝 사이즈 스케줄(다항식 α_k∝k^{-p}, 상수 α_k=c, 지수 α_k=α·ρ^{k}, 코사인 α_k=α·