SGD에서 스펙트럼까지 신경망 가중치 역학 이론

초록

본 논문은 확률 미분 방정식(SDE) 기반의 연속시간 행렬 모델을 제시하여, 확률적 경사 하강법(SGD)의 미시적 업데이트가 가중치 행렬의 특이값 스펙트럼에 어떻게 영향을 미치는지를 정확히 연결한다. 특이값 제곱이 Dyson Brownian Motion을 따르고, 정규화된 평균장 이론을 통해 정적 분포가 파워‑law 꼬리를 갖는 감마형태임을 증명한다. GPT‑2, Vision‑Transformer, MLP 실험을 통해 이론적 예측과 실제 스펙트럼 진화가 정량적으로 일치함을 확인한다.

상세 분석

이 연구는 딥러닝 최적화 이론의 핵심 난제인 “왜 SGD가 좋은 일반화 성능을 보이는가”를 가중치 행렬의 스펙트럼 관점에서 풀어낸다. 저자들은 먼저 이산적인 SGD 업데이트를 연속시간 행렬‑값 SDE로 변환하고, 이때 발생하는 노이즈를 등방성 위너 프로세스로 모델링한다. 중요한 가정은 손실 함수의 기울기가 무시될 수 있는 초기 단계와, 기울기가 비무시 가능한 후기 단계로 나뉜다. 초기 단계에서는 특이값 σₖ가 다음 형태의 SDE를 따른다: dσₖ =