딥 ReLU 네트워크의 커버링 수와 함수 근사 및 비모수 회귀에 대한 응용

초록

본 논문은 가중치가 제한된 완전 연결 ReLU 네트워크, 희소 네트워크, 그리고 양자화된 가중치를 갖는 네트워크에 대해 커버링 수의 상·하한을 상수 차이까지 정확히 잡는다. 이를 통해 네트워크 압축·양자화 한계, 함수 근사의 최소 위험, 그리고 비모수 회귀에서의 최적 샘플 복잡도(특히 Lipschitz 함수 추정 시 기존 log⁶ n 요인을 제거)를 도출한다. 또한 근사와 회귀 사이의 근본적인 관계를 체계적으로 밝히며 기존 결과들을 통합한다.

상세 분석

논문은 먼저 ReLU 네트워크의 구조적 파라미터(깊이 L, 폭 W, 가중치 크기 B, 연결도 s 등)를 명시적으로 정의하고, 이들에 대한 함수 클래스 ( \mathcal{R}(d,W,L,B) ) 의 메트릭 엔트로피(커버링 수 로그)를 분석한다. 핵심 결과인 정리 2.1은 모든 (p\in