노이즈 기울기로 학습된 유한 폭 딥 뉴럴 네트워크 출력 예측

초록

본 논문은 가중치 감쇠와 백색 가우시안 노이즈가 포함된 전배치 경사 하강법으로 학습된 유한 폭 딥 신경망을, 무한 폭 한계에서는 NNGP와 동일한 비가우시안 확률 과정(NNSP)으로 모델링한다. 유한 폭 보정(FWC)을 1/N 차수까지 전개하여 실제 네트워크의 출력 예측 정확도를 크게 향상시키고, 특히 CNN에서 가중치 공유 효과를 설명한다.

상세 분석

이 연구는 기존의 NTK 기반 무한 폭 이론이 “게으른 학습(lazy learning)”과 확률적 학습의 차이 때문에 실제 딥러닝 현상을 충분히 설명하지 못한다는 점을 지적한다. 저자들은 가중치 감쇠와 온도 파라미터 T를 도입한 Langevin 동역학(식 1)을 사용해, 학습이 수렴한 뒤 가중치가 Gibbs 분포 P(w)∝exp