리짓 회귀에서 그로킹 현상의 이론적 해명

초록

본 논문은 가중치 감쇠가 적용된 경사 하강법을 이용해 과다 매개변수화된 선형 회귀 모델을 학습할 때, 훈련 초기에 과적합이 발생하고 일반화 성능이 오래 지속적으로 저조한 뒤, 최종적으로 일반화 오차가 거의 사라지는 ‘그로킹’ 현상을 엄밀히 증명한다. 또한 하이퍼파라미터(학습률, 정규화 강도, 데이터 차원 등)가 그로킹 지연 시간에 미치는 영향을 정량화하고, 비선형 신경망에서도 동일한 경향을 실험적으로 확인한다.

상세 분석

이 논문은 전통적인 교사‑학생 프레임워크를 기반으로, 선형 교사 함수 N*(x)=⟨θ*,ϕ(x)⟩가 존재한다는 가정 하에 학생 모델 N(x;θ)=⟨θ,ϕ(x)⟩를 학습한다. 손실 함수는 평균 제곱 오차에 ℓ₂ 정규화 항 λ‖θ‖²를 더한 리짓 회귀 형태이며, 경사 하강법(GD) 업데이트는 θ^{(t+1)}=θ^{(t)}−η∇_θ L_n(θ^{(t)};λ) 로 정의된다. 저자들은 이 업데이트를 행렬 형태로 풀어내어, 훈련 오차와 일반화 오차가 각각 서로 다른 수렴 속도를 가진다는 점을 보인다.

첫 번째 핵심 정리는 훈련 오차가 초기 단계에서 급격히 감소한다는 것으로, 이는 학습률 η와 데이터 행렬 Φ의 스펙트럼에 의해 결정되는 고속 수렴률(정리 4.4)으로 정량화된다. 두 번째 정리는 일반화 오차가 훈련 오차보다 느리게 감소한다는 점을 보이며, 이는 λ가 충분히 작을 때 ‘리짓리스’(ridgeless) 영역에 머무는 동안 모델이 큰 가중치 노름을 유지하게 되어 과적합이 지속되는 현상(정리 4.5)이다.

세 번째 정리는 충분히 긴 학습 후에 GD가 전역 최소점에 도달하고, 그때의 가중치 노름이 λ에 의해 제한되어 일반화 오차가 임의의 작은 ε 이하가 됨을 증명한다(정리 4.6). 이를 통해 (i) 초기 과적합, (ii) 장기 저조 일반화, (iii) 최종 일반화 회복이라는 세 단계가 모두 존재함을 보인다.

특히 논문은 ‘그로킹 시간’ τ = t₂−t₁에 대한 하한을 명시적으로 도출한다. τ는 학습률 η, 정규화 파라미터 λ, 데이터 차원 m, 샘플 수 n, 그리고 특성 공분산 Σ의 최소 고유값 λ_min(Σ) 등에 의존한다(식 6·7). λ를 작게 잡을수록 τ가 급격히 증가함을 보여, 가중치 감쇠가 그로킹을 촉진하거나 억제하는 핵심 메커니즘임을 이론적으로 뒷받침한다.

실험 부분에서는 선형 모델뿐 아니라 두 층 ReLU 네트워크를 사용해 동일한 하이퍼파라미터 설정에서 그로킹 현상이 재현됨을 확인한다. 비선형 실험에서도 τ가 λ와 η에 따라 동일한 경향을 보이며, 이론적 예측과 실험적 관찰이 일치한다는 점에서 결과의 일반화 가능성을 높인다.

전반적으로 이 논문은 기존 연구가 제시한 ‘lazy‑rich 전이’ 혹은 ‘kernel‑rich 전이’ 설명을 넘어서, 리짓 회귀라는 가장 기본적인 설정에서도 가중치 감쇠와 과다 매개변수화가 결합될 때 발생하는 그로킹 현상을 수학적으로 완전 입증한다. 이는 그로킹이 딥러닝 고유의 병목이 아니라, 특정 학습 조건에 의해 유발되는 현상이라는 중요한 통찰을 제공한다.