딥러닝 일반화 측정값의 취약성: 작은 변동이 큰 변화를 만든다

초록

본 논문은 훈련된 신경망에 적용되는 사후 일반화 측정값들이 학습 하이퍼파라미터의 미세한 변화, 최적화 알고리즘 교체, 데이터 복잡도 변화 등에 매우 민감하게 반응한다는 점을 실험적으로 입증한다. 특히 경로 노름(path norm)과 같은 대표적 측정값은 학습률이나 옵티마이저만 바꿔도 추세가 뒤바뀌며, PAC‑Bayes 기반 측정값도 데이터 난이도에 대한 정보를 놓친다. 저자들은 이러한 ‘취약성(fragility)’을 정량화하고, 새로운 측정값 개발 시 반드시 검증해야 할 스트레스 테스트 프로토콜을 제안한다.

상세 분석

이 논문은 사후 일반화 측정값(post‑mortem measures)이 실제 모델의 일반화 성능과는 독립적으로 크게 변동할 수 있음을 체계적으로 보여준다. 먼저 경로 노름(path norm)을 중심으로, 동일한 ResNet‑50 구조와 FashionMNIST 데이터셋을 사용했음에도 불구하고 옵티마이저를 SGD‑momentum에서 Adam으로 바꾸고 학습률을 0.01에서 0.001로 미세 조정했을 때, 노름 값은 10⁵ 수준에서 10⁻¹ 수준으로 급격히 변하고, 학습 곡선의 기울기도 양에서 음으로 전환된다. 이는 작은 하이퍼파라미터 변동이 모델의 테스트 오류에는 거의 영향을 주지 않지만, 측정값 자체는 수 orders of magnitude 변한다는 강력한 증거다.

또한 저자들은 이러한 현상이 선형 회귀의 ℓₚ 최소화 문제와 유사하다는 이론적 연결고리를 제시한다. ℓₚ‑minimizer에 따라 ℓᵣ 노름의 샘플 크기 의존성이 달라지는 것처럼, 딥 네트워크에서도 최적화 알고리즘이 암묵적으로 선택하는 ‘편향(bias)’에 따라 경로 노름의 스케일링이 달라진다. 이는 “norm 자체를 고정하면 학습 곡선 스케일이 고정된다”는 직관을 깨뜨린다.

시간적(temporal) 측면에서도 취약성이 드러난다. 학습이 완전히 수렴(인터폴레이션)한 후에도 Adam은 로그잇 스케일을 지속적으로 확대시켜 경로 노름이 상승하는 반면, SGD‑momentum은 오히려 서서히 감소한다. 따라서 “학습이 멈추면 측정값도 멈춘다”는 가정은 일반화되지 않는다.

데이터 복잡도 측면에서는 라벨 노이즈와 데이터셋 교체 실험을 통해, PAC‑Bayes origin 측정값은 하이퍼파라미터 변화에 비교적 강건하지만, 라벨 노이즈 수준이 달라져도 학습 곡선의 스케일 변화를 포착하지 못한다는 ‘데이터 취약성(data fragility)’을 보인다. 반면 함수 공간 기반의 marginal‑likelihood PAC‑Bayes 바운드는 데이터 난이도와 샘플 크기에 따른 스케일링을 정확히 추적하지만, 이는 사후 측정값이 아니라 사전‑사후 확률 모델에 기반한 사전적(bound)이다.

저자들은 이러한 현상을 정량화하기 위해 “취약성 점수(fragility score)”를 정의하고, 세 가지 스트레스 테스트(샘플 크기 증가에 따른 학습 곡선, 인터폴레이션 이후의 시간적 변동, 라벨 노이즈 및 데이터셋 교체)를 제시한다. 실험 결과, 기존에 널리 사용되는 노름, 마진, VC‑style, PAC‑Bayes 등 다양한 측정값이 대부분 높은 취약성 점수를 보였으며, 가장 견고한 것으로 평가된 marginal‑likelihood PAC‑Bayes 바운드조차도 사후 측정값이 아니므로 직접적인 비교는 제한적이다.

마지막으로 저자들은 스케일 불변성(scale invariance)과 학습률·가중치 감쇠(weight decay) 간의 비대칭성을 이용해, 고정 학습률·고정 가중치 감쇠와 지수적 학습률 증가·시간 가변 가중치 감쇠가 동일한 예측자를 만든다는 비비대칭(non‑asymptotic equivalence) 정리를 증명한다. 이는 “크기‑민감도(norm‑sensitive) 측정값이 학습 과정에 따라 수 orders of magnitude 변동할 수 있다”는 이론적 근거를 제공한다. 전체적으로 논문은 사후 일반화 측정값이 실제 일반화 메커니즘을 반영하기 위해서는 반드시 다양한 ‘스트레스’ 상황에서 검증되어야 함을 강력히 주장한다.