자기정규화 Cramér형 중간편차와 SGLD의 베리 에센 경계

초록

본 논문은 확률적 경사 랜덤 워크인 SGLD의 경험적 측정에 대해 자기정규화 Cramér형 중간편차(SNCMD)를 정량화하고, 이를 기반으로 베리-에센 정규성 경계를 도출한다. 핵심은 SGLD를 연속 SDE로 근사하고, Stein 방법을 이용해 마팅게일 차분과 무시 가능한 잔차로 분해한 뒤, 마팅게일에 대한 기존 SNCMD 결과를 적용하는 것이다. 결과는 Lipschitz 테스트 함수에 대해 단계 크기 η와 반복 횟수 m 사이의 관계를 명시적으로 제시한다.

상세 분석

본 연구는 비볼록 손실 함수 ψ(·,·)에 대해 확률적 경사 랜덤 워크인 SGLD(식 1.1)의 장기 행동을 연속적인 확률 미분 방정식(SDE, 식 2.2)으로 근사한다. 이때 확산 행렬 Qη,δ(x)=√{ηΣ(x)+δI_d}를 도입해 잡음의 규모를 정확히 반영한다. 가정 2.1은 ψ의 그래디언트가 L-리프시츠이며 강한 소산성(K₁>0)을 만족함을, 가정 2.2는 ∇ψ(x,ζ)의 서브가우시안 꼬리를 보장한다. 이러한 조건 하에 SDE와 SGLD는 각각 고유 불변 측도 π와 π_η를 갖고, 정리 2.4는 두 측도 사이의 Wasserstein‑1 거리가 O(η^{1/2})임을 증명한다.

핵심 기법은 Stein 방정식 Lf = h−π(h) (식 2.6)의 해 f를 이용해 경험적 평균 Π_η(h)−π(h)를 마팅게일 차분 H_η와 잔차 R_η로 분해하는 것이다(식 3.11). H_η는 −∑{k=0}^{m−1}⟨∇f(ω_k), ξ{k+1}⟩/√{m} 형태의 마팅게일이며, R_η는 4개의 항으로 구성된 고차항·잔차이다. Lemma 3.4는 대수적 꼬리 추정과 서브가우시안 성질을 이용해 R_η가 exp(−c·) 수준으로 급격히 감소함을 보인다. 따라서 H_η만을 대상으로 기존의 자기정규화 Cramér형 중간편차 정리(문헌