저차원 내재 차원을 가진 집합 위 부드러운 합성 함수의 최적 신경망 근사

초록

본 논문은 저차원 Minkowski 차원을 갖는 데이터 집합에서 정의된 s‑Hölder 부드러운 함수와, 각 단계가 저차원 영역에서 정의되는 합성 구조를 가진 함수를 깊은 ReLU 네트워크로 최소화 가능한 속도로 근사할 수 있음을 보인다. 새로운 기억화(메모리) 정리를 도입해 밀집(dense) 네트워크로도 효율적인 포인트 피팅이 가능하도록 했으며, 이를 바탕으로 비모수 회귀에서 경험 위험 최소화(ERM)의 수렴 속도가 스무스함, 합성 구조, 내재 차원에 동시에 적응함을 증명한다.

상세 분석

이 연구는 고차원 데이터에서 딥러닝이 성공하는 이유를 두 가지 전통적 가정, 즉 함수의 스무스함과 데이터의 저차원 구조를 하나의 통합 모델로 결합함으로써 이론적으로 설명한다. 먼저 저차원 집합 M⊂