SGD의 편향 최적 경계와 컴퓨터 지원 Lyapunov 분석

초록

본 논문은 강한 볼록성·스무스성만을 가정한 일반적인 최적화 문제에서, 확률적 경사 하강법(SGD)의 편향(bias) 항이 결정론적 경사 하강법(GD)의 최악 사례 수렴률과 일치하도록 새로운 비대칭 경계(bias‑optimal bound)를 제시한다. 이를 위해 상수 스텝 사이즈 γL∈(0,2) 전 구간을 포괄하는 Lyapunov 함수와 Performance Estimation Problem(PEP) 프레임워크를 활용해 파라미터를 설계하고, 편향 항을 최적화하면서 분산 항의 한계도 수치적으로 검증한다. 결과는 작은, 임계, 큰 스텝 사이즈 모두에 대해 편향 최적성을 보이며, 특히 γL=1(임계)과 γL∈(1,2) 구간에서 새로운 현상(분산 항의 지수적 성장 등)을 발견한다.

상세 분석

논문은 먼저 SGD의 일반적인 비대칭 분석 틀을 소개하고, 기존 연구가 주로 편향·분산을 별도로 가정하거나 분산을 제한하는 가정을 필요로 했던 점을 지적한다. 저자들은 “편향 최적(bias‑optimal)”이라는 개념을 정의하는데, 이는 σ²* = 0(즉, 해에서의 stochastic gradient variance가 0)인 경우 SGD가 deterministic GD와 동일한 수렴 속도를 보이는 것을 의미한다. 이를 위해 Lyapunov 에너지
Eₜ = aₜ‖xₜ−x*‖² + ρ·t − Σ_{s=0}^{t−1} f(x_s) + Σ_{s=0}^{t−1} e_s σ²*
를 설계한다. 첫 번째 항은 전통적인 거리 감소 항, 두 번째 항은 평균 함수값 차이의 누적합, 세 번째 항은 분산에 의해 발생하는 변동을 보정하기 위한 음의 누적합이다. 이 구조는 기존 Lyapunov 분석에서 거의 사용되지 않았던 “과거 함수값 차이의 합”을 도입함으로써 편향 항을 정확히 제어할 수 있게 한다.

PEP 프레임워크는 aₜ, ρ, eₜ와 같은 파라미터를 반정밀 반정규 프로그램으로 최적화하도록 변환한다. 이를 통해 각 스텝 사이즈 구간에 대해 허용 가능한 파라미터 집합을 수치적으로 탐색하고, 편향 항을 최소화하는 최적값을 도출한다. 결과적으로 다음과 같은 편향·분산 경계가 얻어진다.

• γL∈(0,1): Bias(T) ≈ (1/(2γ))·T⁻¹, Variance(T) ≈ γ²/(1−γL)
• γL=1: Bias(T) ≈ (1/(2−ε))·γ·T⁻¹ (ε→0), Variance(T) ≈ γ(2+ε)/(ε(2−ε))
• γL∈(1,2): Bias(T) ≈ (1/(2γ(2−γL)))·T⁻¹, Variance(T) ≈ exp(T)/(2−γL)

작은 스텝 사이즈 구간에서는 기존 결과보다 상수가 개선되었으며, 특히 γL=1 임계점에서는 편향 항이 L²·T⁻¹에 근접하도록 조정 가능하지만 그 대가로 분산 항이 무한대로 발산한다는 “특이점”을 발견한다. 큰 스텝 사이즈(γL∈(1,2))에서는 편향 최적성을 유지하면서도 분산 항이 지수적으로 증가하는 현상이 처음 보고되었다. 저자들은 이 현상이 근본적인 제한인지 여부를 수치 실험으로 뒷받침하고, 편향을 약간 포기하면 분산을 시간에 대해 유계로 만들 수 있음을 보인다(예: Lemma 4.12).

강한 볼록성(µ>0) 경우에도 동일한 접근법을 적용한다. 여기서는 최적 GD 상수 ϕ = max{1−γµ, γL−1}가 등장하고, 비임계 스텝 사이즈에서는 Bias(T)=ϕ²·T⁻¹ 형태로 편향 최적성을 유지한다. 임계 스텝 사이즈(γ=2µ+L)에서도 편향을 근접하게 만들 수 있지만, 분산이 무한히 커지는 현상이 다시 나타난다.

마지막으로, 저자들은 이 Lyapunov 설계와 PEP 기반 파라미터 최적화를 스토캐스틱 프로시멀 알고리즘에 적용해, 일반적인 비스무스·비볼록 문제에서도 동일한 편향‑최적 경계를 얻을 수 있음을 제시한다. 전체 논문은 이론적 증명, 수치 실험, 그리고 부록에 상세한 SDP 변환 과정을 포함한다.