고차원에서 본 signSGD 위험 곡선: 사전조건화와 잡음 압축 효과 정량화

초록

본 논문은 고차원 선형 회귀 설정에서 signSGD의 동작을 확률 미분 방정식(SDE)과 결정론적 상미분 방정식(ODE)으로 정밀히 분석한다. 이를 통해 학습률 효과, 잡음 압축, 대각 사전조건화, 잡음 재형성이라는 네 가지 핵심 메커니즘을 정량화하고, 기존 SGD와의 차이를 이론적으로 설명한다. 실험 결과는 제시된 ODE가 실제 데이터와 다양한 잡음 분포에서도 위험 곡선을 정확히 예측함을 보여준다.

상세 분석

본 연구는 고차원( d→∞ ) 선형 회귀 문제를 모델로 삼아 signSGD의 동역학을 수학적으로 풀어낸다. 데이터 x는 평균 0, 공분산 K인 가우시안이며, 라벨 y는 선형 모델 θ*와 잡음 ε의 합으로 생성된다. 주요 가정은 (1) K의 스펙트럼이 0과 유한 상수 사이에 고정, (2) sign‑데이터 행렬 Kσ의 연산자 노름이 차원에 독립적, (3) 학습률 ηt가 d에 따라 η(t/d)/d 형태로 스케일링된다는 점이다. 이러한 가정 하에 저자들은 signSGD 업데이트를 연속시간 과정인 Sign‑Homogenized SGD(SIGN‑HSGD)로 근사한다. SIGN‑HSGD는

dΘt = −ηt φ(R(Θt)) K(Θt−θ*) dt + ηt √(2/π) Kσ^{1/2} dBt

와 같은 SDE로 표현된다. 여기서 φ(·)는 라벨 잡음의 분포에 따라 정의되는 스칼라 함수이며, Kσ는 sign(x)의 공분산을 나타낸다. SDE는 두 개의 핵심 항으로 구성된다: (i) 평균적인 구배 방향을 K에 의해 사전조건화하는 항, (ii) 잡음이 sign 연산을 거치면서 Kσ에 의해 압축·재형성되는 확산 항이다.

SDE 해의 위험 R(t)=E