Sobolev 공간에서 해로운 과적합

초록

이 논문은 Sobolev 공간 (W^{k,p}(\mathbb{R}^d)) 에 속하는 함수들이 노이즈가 섞인 훈련 데이터를 완벽히 보간할 때, 매끄러움(노름 최소화) 편향만으로는 일반화가 개선되지 않으며, 샘플 수가 무한히 커져도 기대 위험이 일정 수준 이하로 감소하지 않는 ‘해로운 과적합’ 현상을 증명한다.

상세 분석

본 연구는 기존의 베니언(overfitting) 연구가 주로 고차원, 선형·커널 모델에 국한된 점을 넘어, 고정 차원에서 Sobolev 공간이라는 비히루베르트 함수 클래스 전체에 대해 과적합 현상을 분석한다. 핵심 가정은 (1) 라벨에 독립적인 서브가우시안 잡음이 존재하고, (2) 입력 분포가 유계 밀도를 가지며, (3) 손실 함수가 지수 성장 제한을 만족하는 연속 함수이다. 이러한 가정 하에 저자들은 ‘근사 노름 최소화(γ‑ANM) 인터폴레이터’를 정의한다. γ‑ANM은 훈련 데이터를 정확히 맞추면서 최소 Sobolev 노름에 γ배 이하인 모든 함수를 포함한다.

정리 3.7은 k ∈ (d/p, 1.5 d/p) 구간에서, 충분히 큰 n에 대해, 확률 1 − ε 로 모든 γ‑ANM 솔루션 fγ에 대해
\