특징 학습에서 얕은 신경망의 스케일링 법칙과 가중치 스펙트럼

초록

본 논문은 두 종류의 얕은 신경망(대각선 선형 네트워크와 이차 활성화 네트워크)을 특징 학습(regime)에서 분석한다. LASSO와 저차원 행렬 압축 감지 문제에 정확히 대응시켜, 샘플 복잡도와 가중치 감쇠(λ)의 함수로서 과잉 위험(excess risk)의 스케일링 지수를 전 단계적으로 도출하고, 학습된 가중치의 스펙트럼이 파워‑law 꼬리를 형성하는 메커니즘을 이론적으로 설명한다.

상세 분석

이 연구는 얕은 2‑계층 신경망을 두 가지 구조로 제한한다. 첫 번째는 대각선 가중치를 갖는 선형 활성화 네트워크로, 파라미터 재표현을 통해 LASSO 문제와 동등함을 보인다. 두 번째는 중심화된 이차 활성화 함수를 사용해 입력의 외적을 추출하는 네트워크로, 이는 저차원 행렬 압축 감지(matrix compressed sensing) 문제와 일대일 매핑된다. 이러한 매핑은 고차원 통계학에서 잘 확립된 LASSO 및 핵노름(Nuclear‑norm) 정규화 이론을 그대로 적용할 수 있게 해준다.

논문은 표본 수 n, 차원 d, 그리고 가중치 감쇠 λ에 대한 비율을 고정한 비례극한(proportional asymptotics)에서 Approximate Message Passing(AMP) 알고리즘과 그 상태 진화(state evolution, SE) 방정식을 이용한다. SE는 각 반복 단계에서 평균 제곱 오차와 스펙트럼 분포를 정확히 추적하며, 이를 통해 과잉 위험 R(n,d,λ) 를 명시적 함수 형태로 얻는다. 특히, 목표 함수의 계수가 파워‑law(지수 γ>½) 형태로 감소한다는 가정 하에, 샘플 복잡도와 정규화 강도에 따라 네 개의 주요 스케일링 구역이 존재함을 밝혀냈다.

1. 데이터 부족 구역(1≪n_eff≪d): λ가 충분히 작을 때 위험은 Θ(n_eff^{‑1+1/(2γ)}) 로 감소한다. 이는 희소성(또는 준희소성)으로 인한 이득을 반영한다.
2. 임계 구역(n_eff≈d): 위험은 λ에 따라 Θ(λ^{‑2/3}) 혹은 Θ(d/n_eff) 로 전환한다. 여기서 λ가 너무 작으면 과적합이 발생하고, 적절히 조정하면 베이즈 최적률에 근접한다.
3. 과다 샘플 구역(n_eff≫d): 위험은 Θ(d/n_eff) 로 전형적인 통계적 학습률을 보이며, λ가 중간 규모일 때는 Θ(λ d^{1/2}/n_eff)^{2‑1/γ} 와 같은 복합 형태가 나타난다.
4. 강한 정규화 구역(λ≫max{p n_eff/d, n_eff^{γ+1/2}}): 위험은 Θ(λ^{2} d^{2}/n_eff^{2}) 로 급격히 감소하지만, 지나친 정규화는 편향을 크게 늘린다.

각 구역에서 최적 λ를 선택하면 위험은 기존 LASSO·저차원 행렬 추정 이론에서 알려진 최소 위험률과 일치한다. 이는 “베이즈‑최적” 정규화가 존재함을 의미한다.

스펙트럼 분석에서는 학습된 가중치 행렬/벡터의 고유값 분포가 세 가지 요소(신호, 잡음, 정규화) 사이의 트레이드오프를 반영한다는 점을 강조한다. 데이터가 충분히 많고 정규화가 적절하면 신호 성분이 지배해 스펙트럼 상단에 뚜렷한 ‘spike’가 나타난다. 반대로 정규화가 강하거나 샘플이 부족하면 잡음 성분이 지배해 고유값이 파워‑law 꼬리를 형성한다. 이러한 현상은 최근 대규모 딥러닝 모델에서 관찰된 ‘heavy‑tailed weight spectrum’와 정량적으로 일치한다.

또한, AMP의 상태 진화 방정식이 기존의 비례극한 가정(고정된 n/d, 고정 λ) 밖에서도 높은 정확도를 유지함을 실험적으로 검증한다. 이는 AMP가 실제 신경망 학습 상황에서도 강인한 예측 도구가 될 가능성을 시사한다.

결과적으로, 이 논문은 (i) 얕은 네트워크에서도 특징 학습이 스케일링 법칙에 결정적 영향을 미친다, (ii) LASSO·압축감지 이론을 통해 정확한 위험 스케일링과 전이 구역을 도출한다, (iii) 학습된 가중치 스펙트럼의 heavy‑tail 현상을 첫 원리에서 설명한다는 세 가지 주요 기여를 제공한다.