비대칭 중량 꼬리 잡음에서도 고확률 수렴을 보장하는 비선형 SGD와 새로운 대칭화 기법

초록

본 논문은 비선형 SGD(신호 부호, 클리핑, 정규화 등)를 중량 꼬리 잡음 하에서도 고확률로 $O(t^{-1/2})$ 수렴률을 달성하도록 분석한다. 대칭 잡음 가정이 없는 경우를 위해 두 가지 새로운 추정기, Symmetrized Gradient Estimator(SGE)와 Mini‑batch SGE(MSGE)를 제안하고, 각각 N‑SGE와 N‑MSGE 알고리즘을 설계한다. 이들 방법은 잡음이 비대칭이면서 순간 $p\in(1,2]$ 차의 유한 모멘트를 가질 때도 지수적 꼬리 감소와 최적의 오라클 복잡도 $O(\epsilon^{-4})$ (또는 $O(\epsilon^{-6p-4p^{-1}})$) 를 보인다.

상세 분석

논문은 먼저 기존 비선형 SGD 연구가 주로 잡음의 $p$‑차 모멘트가 유한하거나 잡음 분포가 대칭이라는 가정에 의존한다는 점을 지적한다. 이러한 가정은 실제 딥러닝 훈련에서 관찰되는 레비 안정분포나 파레토·와이블 등 비대칭 중량 꼬리 잡음에 적용하기 어렵다. 저자들은 “비선형 프레임워크”를 블랙박스 형태로 정의하여, sign, clipping, normalization 및 그 부드러운 변형을 모두 포함하도록 설계한다. 이 프레임워크 안에서 핵심은 비선형 변환 $\Psi$가 적용된 후의 기대값 $\Phi(x)=\mathbb{E}_z