깊이와 폭의 트레이드오프: 자연 함수 근사에서 깊은 신경망의 우위

본 논문은 피드포워드 신경망에서 깊이와 폭 사이의 표현력 차이를 자연스럽고 직관적인 함수들을 통해 구체적으로 분석한다. 서론에서는 기존의 보편적 근사 정리(예: Cybenko, Hornik)와 달리, 실제 학습에 사용될 수 있는 “자연스러운” 함수에 대한 깊이-폭 분리를 제시하는 필요성을 강조한다. 관련 연구 파트에서는 깊이와 폭을 비교한 다양한 선행 연구들을 정리한다. 특히, Eldan & Shamir(2016)의 라디얼 함수 분리, Telgarsky(2016)의 고진동 함수, Yarosky(2016)와 Liang & Srikant(2016)의 L∞ 기반 결과 등을 언급하며, 본 논문이 L₂ 손실을 기준으로 한 강력한 하한을 제공한다는 점을 부각한다. 본론에서는 네 가지 주요 결과를 제시한다. 1. **구와 타원 지시함수** - 정의: f(x)=𝟙{‖Ax+b‖₂≤r}. - 정리 1: 2층 네트워크가 폭 ≤c₃·exp(c₄·d)이면, 어떤 연속 확률분포 γ에 대해 L₂ 오차가 최소 Ω(d⁻⁴) 이상이다. - 증명 아이디어: Eldan & Shamir(2016)의 라디얼 함수 g̃을 선형 변환 후 구 지시함수들의 합으로 표현하고, 각 구 지시함수를 2층으로 근사할 수 없다는 사실을 귀류법으로 이용한다. - 정리 2: 3층 네트워크는 O(d·√δ) 폭으로 ε=δ 정확도 근사가 가능함을 보이며, 이는 각 좌표의 제곱합을 근사한 뒤 임계값 함수를 한 번 더 적용하는 간단한 구성으로 구현된다. 2. **실험적 검증** - 실험 설정: 단위 구 지시함수를 학습 데이터로 사용, 3층(폭 100)과 2층(폭 100,200,400,800) 네트워크를 동일한 학습 스케줄로 훈련. - 결과: 3층 네트워크는 훈련·검증 RMSE가 빠르게 0.12 이하로 수렴하지만, 2층은 폭을 늘려도 수렴 속도가 느리고 최종 오차가 0.2 이상으로 남는다. 이는 이론적 하한이 실제 최적화 과정에서도 영향을 미친다는 실증적 증거다. 3. **L₁-반경 피스와이즈-리니어 함수** - 함수 형태: f(x)=h(‖x‖₁) where h is piecewise linear. - 정리: 3층 ReLU 네트워크는 정확히 구현 가능하지만, 2층 네트워크는 폭이 Ω(min{1/ε, exp(Ω(d))}) 미만이면 ε-정밀도 L₂ 근사가 불가능함을 증명한다. - 핵심 논증은 L₁-노름이 축에 정렬된 다면체를 형성하므로, 얕은 네트워크는 각 축을 독립적으로 처리해야 하며, 이는 차원에 따라 지수적 파라미터 증가를 요구한다는 점이다. 4. **부드러운 비선형 함수** - 대상: x↦x² 등 2차 이상 다항식 및 일반적인 C² 함수. - 정리: 이러한 함수들은 깊이와 폭이 O(poly(log(1/ε)))인 ReLU 네트워크로 ε-정밀도 근사가 가능하다. 반면, 상수 깊이(예: 2~3층)에서는 폭이 Ω(poly(1/ε))이어야만 동일한 정확도를 달성한다. - 증명은 Telgarsky(2016)의 고진동 함수 구조를 변형하여, 깊은 네트워크가 적은 파라미터로 높은 주파수 진동을 구현할 수 있음을 이용한다. 또한, L₂ 하한이 L∞ 하한보다 강력함을 강조한다. 논문의 마지막 부분에서는 위 결과들의 의미를 종합한다. 깊이가 증가하면 함수의 복합적인 기하학적 구조(구·타원 경계, L₁-다면체, 부드러운 곡선)를 효율적으로 인코딩할 수 있으며, 이는 단순히 폭을 늘리는 것보다 파라미터 효율성 측면에서 월등함을 보여준다. 또한, 실험 결과는 이론적 분리가 실제 학습에서도 관측된다는 점을 확인시켜, 깊이 설계가 실용적인 모델 선택에 중요한 기준이 될 수 있음을 시사한다.