딥러닝을 풀다 ReLU 신경망의 표현력과 깊이의 비밀

본 논문은 ReLU 활성화를 사용하는 심층 신경망(Deep Neural Networks, 이하 DNN)의 함수 표현력과 학습 복잡성을 체계적으로 탐구한다. 서론에서는 신경망이 연속 함수의 보편적 근사기능을 갖는다는 고전적 결과(Cybenko, Hornik)를 소개하고, 최근 딥러닝의 성공이 네트워크 깊이에 크게 의존한다는 점을 강조한다. 이어서 연구 동기를 제시하며, 회로 복잡도 이론과의 연관성을 통해 “깊이의 이점”을 수학적으로 증명하고자 함을 밝힌다. **1. 정의와 기본 개념** 논문은 ReLU DNN을 입력 차원 w₀, 출력 차원 w_{k+1}와 k개의 은닉층 폭 {w_i}로 정의하고, 깊이(depth)를 k+1, 폭(width)을 max_i w_i, 규모(size)를 Σ_i w_i 로 명시한다. 또한 연속적인 조각선형 함수(PWL)와 그 조각 수를 정의하고, Δ_{p}^{M} = {x∈ℝ^{p} | 0 < x₁ < … < x_p < M}와 같은 파라미터 공간을 도입한다. **2. ReLU DNN와 PWL 함수의 일대일 대응** Theorem 2.1은 모든 ReLU DNN가 PWL 함수를 구현하고, 반대로 모든 PWL 함수가 깊이 ≤ d·⌈log₂(n+1)⌉+1 인 ReLU DNN로 표현될 수 있음을 증명한다. 증명은 Wang & Sun(2005)의 결과를 이용해 PWL 함수를 최대 n+1개의 affine 함수들의 최대값들의 선형 결합으로 분해하고, max 연산을 두 층 ReLU 네트워크로 구현함으로써 깊이 상한을 얻는다. Theorem 2.2는 1차원 경우에 대해 조각 수 p와 정확히 일치하는 2‑layer 네트워크의 최소 규모가 p−1임을 보여, 1‑D에서의 최적 규모를 정확히 규정한다. Theorem 2.3은 L^q(ℝⁿ) 공간의 모든 함수가 위의 깊이 상한을 가진 ReLU DNN로 임의의 정밀도로 근사될 수 있음을 제시한다. **3. 깊이‑폭 트레이드오프와 “어려운” 함수군** 섹션 3.1에서는 R→R 함수에 대해 깊이 k+1, 폭 w 인 네트워크가 w^{k} 개의 조각을 갖는 함수를 정확히 구현할 수 있음을 보인다. 반면, 동일 함수를 깊이 ≤ k′+1 (k′ ≤ k) 로 구현하려면 최소 ½·k′·w^{k/k′}−1 개의 노드가 필요하다는 초지수 하한을 제시한다 (Theorem 3.1). 이 함수군은 Δ_{w-1}^{M} 를 k번 곱한 파라미터 공간으로 매끄럽게 매개변수화된다 (Theorem 3.2). Corollary 3.3·4는 k와 ε를 조절해 “k²+ε 레이어, k³+ε 노드”와 “k+1 레이어, ½·k^{k+1}−1 노드” 사이의 격차를 명시적으로 보여준다. 또한 Theorem 3.5는 위 함수들을 근사하려는 얕은 네트워크가 L¹ 거리에서 최소 δ 오차를 넘지 못한다는 강력한 근사 불가능성을 제공한다. 이는 Telgarsky(2015, 2016)의 결과를 확장·강화한 것으로, 기존의 “카운터블” hard 함수와 달리 연속적인 파라미터 공간을 갖는 함수를 사용한다는 점에서 혁신적이다. **4. 고차원에서의 조각 수 하한** 섹션 3.2에서는 n≥2 차원에서 ReLU DNN가 생성할 수 있는 affine 조각 수에 대한 새로운 하한을 제시한다. 저자들은 존토프(zonotope) 이론을 활용해, 폭 w, 깊이 k+1 인 네트워크가 최소 Ω((w/k)^{k}) 조각을 만들 수 있음을 증명한다. 이는 이전에 알려진 O(w^{k}) 상한보다 강력한 하한이며, 특히 폭이 깊이에 비해 충분히 클 때 네트워크가 매우 복잡한 다면체 분할을 구현함을 의미한다. **5. 관련 연구와 비교** 논문은 Telgarsky, Eldan‑Shamir, 그리고 회로 복잡도 분야의 고전적 결과(Håstad, Razborov, Smolensky)와 직접 비교한다. Telgarsky의 결과는 깊이 k³와 k 사이의 차이를 보였지만, 하한이 지수 수준에 머물렀다. 본 연구는 초지수 하한을 제공하고, 매끄러운 파라미터화라는 새로운 차원을 도입한다. Eldan‑Shamir는 3‑layer vs 2‑layer 사이의 차이를 보였으나, 깊이 고정 상황에서의 일반화는 제한적이었다. 본 논문은 이러한 선행 연구들을 포괄적으로 확장하고, 깊이와 폭이 동시에 작용하는 복합적인 표현력 한계를 제시한다. **6. 결론 및 향후 과제** 저자들은 (i) 1‑히든 레이어 전역 최적화 알고리즘이 차원 저주에 의해 제한되지만, 저차원 실용 문제에 적용 가능함을 강조하고, (ii) 깊이‑폭 트레이드오프가 초지수 규모 차이를 야기함을 통해 네트워크 설계 시 깊이를 충분히 활용할 필요성을 제시한다. 또한, 조각 수 하한을 통한 복잡도 분석이 네트워크 일반화와 연관될 가능성을 제시하며, 향후 연구에서는 이러한 조각 구조와 일반화 오류 사이의 정량적 관계를 밝히는 것이 중요한 과제로 남는다.