다층 신경망 SGD의 위상도와 고유값 동역학

초록

본 논문은 다층 신경망의 손실 함수를 무질서계의 해밀토니안으로 해석하고, SGD의 학습 과정을 온도와 불순도라는 물리량으로 매핑한다. 초기 가중치 분산과 학습률·배치 크기 비율을 조절하면 세 가지 서로 다른 위상(정렬·잔머리·파라메트릭)으로 구분되는 학습 동역학이 나타난다. 특이값의 Dyson Brownian motion을 이용한 Langevin 방정식으로 각 위상의 경계와 특성을 이론적으로 도출하고, 실험을 통해 검증한다.

상세 분석

이 연구는 신경망의 손실 함수를 전통적인 스핀 글라스 모델과 동일시함으로써 물리학적 직관을 머신러닝에 적용한다. 먼저, 마지막 은닉층의 출력(특징) ϕ를 연속적인 “소프트 스핀”으로 보고, 가중치 행렬의 초기 분산 σ_W²를 무질서의 강도, 학습률 η와 배치 크기 B의 비율 η/B를 유효 온도 T로 정의한다. 이러한 매핑을 통해 손실 L(θ)은 J_ij와 h_jα라는 랜덤 결합 및 외부장으로 구성된 이차형식이 된다.

가중치 행렬은 정규분포 N(0,σ_W²/n_{l‑1}) 로 초기화되며, 이는 특성들의 분산이 σ_W²에 비례하도록 만든다. tanh 활성화 함수를 사용함으로써 ϕ는 ±1 사이에 제한되고, σ_W²가 임계값 σ_c²=½를 초과하면 특성 분포가 양극(±1)으로 집중되는 ‘잼밍’ 현상이 발생한다. 이는 학습이 정체되는 파라메트릭 위상과 대응한다. 반대로 σ_W²가 작을 경우 특성은 0 부근에 머물며 선형 영역에서 효율적인 학습이 이루어지는 정렬 위상이 나타난다.

중심적인 이론적 기여는 SGD를 Langevin 방정식 형태로 기술하고, 특이값 간 평균 레벨 스페이싱 Δ의 확률 흐름을 Dyson Brownian motion으로 모델링한 점이다. 이 방정식은 온도 T와 불순도 1/σ_W가 조절 변수임을 명시하고, 안정성 분석을 통해 위상 경계식을 도출한다. 구체적으로, Δ의 평균이 일정한 고정점을 갖는 경우를 정렬 위상, 고정점이 불안정해지는 경우를 파라메트릭 위상, 그리고 Δ가 급격히 감소하면서 고정점이 사라지는 경우를 잼밍 위상으로 구분한다.

실험에서는 두 개의 은닉층을 가진 MLP에 하이퍼볼릭 탄젠트 활성화를 적용하고, η/B와 σ_W²를 격자 형태로 스캔하였다. 특성의 평균값, 손실 감소 속도, 그리고 특이값 스펙트럼의 시간적 변화를 관측해 세 위상을 명확히 구분했다. 특히, 정렬 위상에서는 특이값이 초기값에서 점진적으로 확대되며 스펙트럼이 넓어지는 반면, 파라메트릭 위상에서는 특이값이 잡음 수준에 머물고, 잼밍 위상에서는 특이값이 급격히 수축해 거의 동일한 값으로 수렴한다.

이러한 결과는 하이퍼파라미터 튜닝에 물리적 직관을 제공한다. 예를 들어, 큰 배치와 작은 학습률(낮은 온도)에서는 정렬 위상이 넓게 유지되지만, 초기 가중치 분산이 과도하면 잼밍 위기로 전이한다. 반대로 높은 온도(큰 η/B)에서는 파라메트릭 위상이 우세해 학습이 불안정해진다. 따라서 최적의 학습 조건은 σ_W와 η/B가 적절히 균형을 이루어 정렬 위상 내부에 머무르는 영역을 찾는 것이다.