깊은 신경망의 표현력과 깊이의 역할

본 논문은 “On the Expressive Power of Deep Neural Networks”(Raghu et al., 2016)를 중심으로, 깊이 신경망이 어떻게 풍부한 함수 공간을 형성하는지를 체계적으로 정리한다. 먼저 기존 연구들이 폭넓은 폭(width)이나 특정 함수 근사 능력에 초점을 맞추어 왔지만, 실제 실무에서 사용되는 무작위 초기화된 네트워크에 대한 일반적인 이해가 부족함을 지적한다. 이를 보완하기 위해 저자들은 무작위 초기화된 완전 연결 네트워크를 분석 대상으로 삼아, 네트워크 구조가 함수적 풍부함에 미치는 영향을 세 가지 측정값으로 정량화한다. 1. **전이(Transitions)** 각 뉴런이 활성화와 비활성화 사이를 전환하는 횟수를 셈으로써, 네트워크가 입력을 얼마나 비선형적으로 변환하는지를 측정한다. 전이는 레이어가 깊어질수록 지수적으로 증가한다는 것이 실험적으로 확인되었다. 2. **활성화 패턴(Activation Patterns)** 모든 뉴런의 활성/비활성 상태 조합을 전역적으로 고려한다. 입력 공간은 이 조합에 따라 다각형(polytopes)으로 분할되며, 각 다각형은 네트워크가 적용하는 선형 함수에 해당한다. 깊이가 늘어날수록 다각형 수가 급격히 늘어나, 입력 공간의 세분화 정도가 크게 증가한다. 3. **이분법(Dichotomies)** 고정된 입력 집합에 대해 가능한 라벨링(분할) 수를 측정한다. 이는 네트워크가 구현할 수 있는 함수 클래스의 다양성을 나타내는 통계적 지표이며, 역시 깊이에 대해 지수적 성장 특성을 보인다. 이 세 측정값은 모두 **궤적 길이(Trajectory Length)**와 직접적인 연관성을 가진다. 궤적 길이는 1‑차원 입력 곡선이 각 레이어를 통과하면서 얼마나 늘어나는지를 나타내는 양이며, 정리 1에 의해 기대값이 깊이 d에 대해 지수적으로 증가한다는 것이 증명된다. 성장률은 가중치 분산 \(\sigma_w^2\)와 레이어 폭 k에 의해 조절된다. 실험(Figure 2)은 이 이론적 예측을 시뮬레이션 결과와 일치시켜, 무작위 초기화된 네트워크에서 궤적 길이가 깊이에 따라 급격히 늘어남을 확인한다. 궤적 길이가 늘어날수록 전이 횟수와 활성화 패턴 수가 비례적으로 증가한다(Figure 3). 이는 입력 공간이 더 많은 선형 구역으로 나뉘어, 네트워크가 구현할 수 있는 함수의 복잡도가 급격히 상승한다는 직관적인 해석을 제공한다. 다음으로 논문은 **학습 과정에서의 트레이드오프**를 탐구한다. 큰 \(\sigma_w\)로 초기화된 경우, 학습이 진행될수록 궤적 길이와 전이 횟수가 감소한다(Figure 4). 이는 모델이 과도한 비선형성을 억제하고 입력‑출력 매핑을 안정화시키는 방향으로 파라미터를 조정한다는 의미이다. 반대로 작은 \(\sigma_w\)에서는 학습이 궤적 길이를 증가시켜 표현력을 강화한다(Figure 5). 따라서 학습은 표현력과 안정성 사이에서 균형을 맞추는 과정이며, 초기 가중치 분산 선택이 이 균형에 큰 영향을 미친다. 마지막으로 **남은 깊이(remaining depth)** 개념을 실험적으로 검증한다. 전체 네트워크 중 하나의 레이어만을 학습하고 나머지는 무작위 초기화된 상태로 고정한 뒤, MNIST와 CIFAR‑10에서 정확도를 측정한다(Figure 6). 초기 레이어를 학습했을 때 얻는 성능 향상이 뒤쪽 레이어를 학습했을 때보다 현저히 크며, 이는 파라미터의 영향력이 그 뒤에 남은 층 수에 비례해 증폭된다는 가설을 뒷받침한다. 전체적으로 이 논문은 깊이가 신경망의 표현력에 미치는 핵심 메커니즘을 **궤적 길이의 지수적 성장**이라는 통일된 프레임워크로 설명한다. 세 가지 측정값(전이, 활성화 패턴, 이분법)은 모두 이 성장 현상에 의해 설명될 수 있으며, 학습 과정은 이 성장률을 조절함으로써 모델의 안정성과 복잡성 사이의 트레이드오프를 관리한다. 이러한 통찰은 네트워크 설계 시 깊이와 초기 가중치 분산을 어떻게 선택해야 하는지에 대한 실용적인 가이드라인을 제공한다.