과잉파라미터화 딥 ReLU 네트워크의 구조 무관 일반화 경계

초록

본 논문은 입력 차원보다 파라미터가 훨씬 많은(과잉파라미터화) 딥 ReLU 네트워크가 훈련 손실을 0으로 만들 수 있을 뿐 아니라, 테스트 오류가 네트워크 깊이·폭·전체 파라미터 수와 무관하게 데이터의 기하학적 특성만으로 상한을 갖는다는 이론적 결과를 제시한다. 특히 훈련 샘플 수가 입력 차원 이하일 때 명시적인 영손실 최소화 해를 구성하고, Chamfer 거리 기반의 일반화 상한을 도출한다. 실험적으로 MNIST에서 제시된 상한이 실제 테스트 오류와 22 % 이내의 차이만을 보임을 확인한다.

상세 분석

이 논문은 과잉파라미터화된 신경망의 일반화 현상을 기존의 VC 차원 기반 확률론적 경계와는 전혀 다른 관점에서 접근한다. 먼저 네트워크를 입력층 (L_0=\mathbb{R}^{M_0}) 와 (L)개의 은닉층 (L_\ell=\mathbb{R}^{M_\ell}) ((M_0\ge M_1\ge\cdots\ge M_L\ge Q)) 로 정의하고, 활성화 함수 (\sigma) 가 Lipschitz 연속이며 선형 성장 제한 (|\sigma(x)|\le a_0+a_1|x|) 을 만족한다고 가정한다. 이러한 일반적인 가정 하에 손실 함수는 평균 제곱오차이며, 전역 최소화 해 (\theta^) 에 대해 훈련 오류 (E_{\text{train}}(\theta^))와 테스트 오류 (E_{\text{test}}(\theta^*))를 정의한다.

핵심 정의는 “강하게 과잉파라미터화(strongly over‑parameterized)”라 하여 훈련 샘플 수 (n)이 입력 차원 (M_0) 이하인 경우를 말한다. 이 경우 저자는 두 단계의 일반화 경계를 제시한다. 첫 번째는 Proposition 1.2에서 손실 차이 (D