시각화로 보는 일반화 메커니즘

이 논문은 신경망이 보이지 않는 데이터에 대해 뛰어난 일반화 능력을 보이는 현상을 직관적으로 이해하고자 시각화 기반 실험을 중심으로 전개된다. 서론에서는 과잉 파라미터화된 모델이 훈련 데이터에 완벽히 맞출 수 있음에도 불구하고, 실제로는 테스트 데이터에서도 높은 정확도를 유지한다는 역설을 제시한다. 이를 설명하기 위해 저자는 먼저 손실 함수의 형태와 파라미터 공간의 구조를 살펴본다. 과잉 파라미터화된 네트워크는 훈련 손실을 0에 가깝게 만들 수 있는 무수히 많은 최소점을 갖으며, 이 중 일부는 테스트 성능이 전혀 좋지 않은 ‘나쁜 최소점’이다. 실험 1에서는 CIFAR‑10 데이터셋에 ResNet‑18(약 270k 파라미터)과 동일 규모의 선형 모델을 학습한다. 두 모델 모두 훈련 정확도 100%를 달성하지만, 선형 모델은 테스트 정확도가 49%에 머물러 ‘과적합’된 모습을 보인다. 반면 ResNet‑18은 92% 이상의 테스트 정확도를 기록한다. 이는 비선형 구조와 최적화 경로가 일반화에 중요한 역할을 함을 시사한다. 다음으로 저자는 ‘포이즌 손실’(훈련 손실과 반대 방향의 교차 엔트로피를 결합) 을 도입해 의도적으로 나쁜 최소점을 찾는다. 동일한 과잉 파라미터화된 네트워크에 대해 표준 SGD와 포이즌 최적화를 번갈아 적용하면, SGD가 진행되는 매 10 epoch마다 현재 파라미터 위치 주변에 다수의 나쁜 최소점이 존재함을 확인한다. 이를 t‑SNE 로 2차원에 투영해 시각화한 결과, 빨간 점(표준 SGD 경로)과 파란 점(포이즌 최적화가 찾은 나쁜 최소점)이 서로 겹치지만, 최종 SGD 위치(노란 별)는 테스트 정확도 98.5%라는 뛰어난 일반화 성능을 보인다. 옵티마이저의 영향력을 검증하기 위해 VGG13을 다양한 1차·2차 옵티마이저와 비그라디언트 기반 방법(LBFGS, ProxProp) 에 적용한다. 실험 결과, 옵티마이저 종류에 관계없이 과잉 파라미터화된 신경망은 선형 모델보다 현저히 높은 테스트 정확도를 유지한다. 이는 손실 지형 자체가 ‘좋은’ 최소점을 선호하도록 설계되었으며, 옵티마이저는 그 구조를 이용해 암묵적인 정규화를 수행한다는 가설을 뒷받침한다. 논문의 핵심 이론적 배경으로는 평탄(minima)과 샤프(minima)의 차이를 다룬다. 평탄 최소점은 파라미터에 작은 변동을 가해도 손실이 크게 증가하지 않으며, 이는 클래스 경계가 훈련 샘플로부터 충분히 멀리 떨어져 있어 일반화가 용이함을 의미한다. 반면 샤프 최소점은 경계가 훈련 샘플에 근접해 작은 변동에도 급격히 손실이 상승한다. 저자는 필터 정규화 방식을 사용해 파라미터 스케일링 효과를 제거하고, 2D 평면을 샘플링해 손실을 시각화함으로써 두 최소점의 차이를 명확히 보여준다. 마지막으로 고차원 파라미터 공간의 ‘축복’에 대해 논의한다. 고차원에서는 평탄 영역이 차지하는 부피가 상대적으로 크게 늘어나, 무작위 초기화와 확률적 경사 하강법이 이러한 평탄 영역에 더 자주 도달한다. 따라서 과잉 파라미터화와 고차원성은 신경망이 일반화에 성공하도록 하는 근본적인 메커니즘으로 작용한다. 논문은 이러한 직관을 시각화와 간단한 실험을 통해 검증함으로써, 기존 이론(모델 복잡도, 안정성, PAC‑Bayes 등)과 연결된 새로운 이해를 제공한다.