과잉파라미터화 보간 영역에서의 Gibbs와 Langevin Monte Carlo 일반화

초록

본 논문은 과잉파라미터화된 모델이 훈련 데이터에 완벽히 맞출(보간) 상황에서 Gibbs 후방분포와 Langevin Monte Carlo(LMC) 알고리즘의 일반화 성능을 데이터 의존적인 PAC‑Bayes 경계로 정량화한다. 고온(낮은 역온도)에서의 평균 훈련 오차가 낮을수록 저온(높은 역온도)에서도 좋은 테스트 오차를 보장한다는 새로운 원리를 제시하고, 이를 이용해 실제 신경망(MNIST, CIFAR‑10)에서 무작위 라벨과 실제 라벨 모두에 대해 의미 있는 상한을 계산한다.

상세 분석

이 논문은 현대 딥러닝이 과잉파라미터화된 가설공간에서 훈련 오차를 거의 0으로 만들 수 있지만, 동일한 메커니즘이 무작위 라벨에도 적용돼 테스트 오차가 크게 증가한다는 ‘보간(regime)’ 현상을 이론적으로 해명하려 한다. 핵심 아이디어는 Gibbs 후방분포 (G_{\beta}(x)) 의 로그 밀도 (\ln \frac{dG_{\beta}}{d\pi}(h) = -\beta \hat L(h,x) - \ln Z_{\beta}(x)) 를 온도 (\beta)에 대한 적분 형태로 표현하는 것이다. 구체적으로
\