게으른 학습에서 SGLD의 비대칭 노이즈와 지수적 수렴

초록

본 논문은 출력 스케일링을 이용해 파라미터가 초기값 근처에 머무르는 ‘게으른 학습’(lazy training) 환경에서, 연속시간 SGLD(확률적 경사 라그랑주 동역학)의 비대칭·상태‑의존 노이즈가 존재함에도 불구하고, 고확률로 비퇴화 커널을 유지하고 경험 위험 최소화점으로의 지수적 수렴을 보장함을 비대칭적 비대칭적 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대칭적(비대칭) 비대증

상세 분석

본 논문은 ‘게으른 학습(lazy training)’이라는 특수한 스케일링 조건 하에서, 연속시간 확률적 경사 라그랑주 동역학(SGLD)의 수렴 특성을 비대칭·상태‑의존 노이즈가 존재함에도 불구하고 정밀히 규명한다. 핵심은 출력 스케일링 파라미터 α를 크게 잡아 초기 파라미터 ω₀ 근처의 작은 구역 B_r(ω₀) 안에서 파라미터가 머무르도록 하는데, 이때 뉴럴 탱전트 커널(NTK) D h(ω)Dᵀh(ω) 의 최소 고유값 λ_min이 양수임을 보장한다. 이를 통해 ‘커널이 퇴화하지 않는다’는 고확률적 보장을 얻으며, 이는 SGLD가 최소점 근처에서 노이즈가 사라지는 구조적 특성(Σ_α(ω)→0)과 결합해 파라미터가 최소점에서 탈출하지 못하게 만든다.

수학적으로는 다음 가정을 두었다. (1) 손실 ℓ이 Lipschitz‑smooth하고 m‑strongly convex이며, 모델 h가 Lipschitz 연속적인 Jacobian를 갖는다. (2) 위험 함수 R의 Hessian와 노이즈 공분산 Σ_α가 결합된 형태 Tr