깊이 신경망 표현력의 비밀

본 연구는 딥 뉴럴 네트워크의 표현력을 이해하기 위해 ‘궤적 길이(trajectory length)’라는 새로운 개념을 도입하고, 이를 통해 네트워크 구조와 가중치 초기화가 함수 복잡도에 미치는 영향을 정량적으로 분석한다. 먼저 저자들은 입력 공간의 두 점 x₀, x₁ 을 연결하는 1차원 궤적 x(t) (0≤t≤1)을 정의하고, 네트워크 F_A(x;W) 가 이 궤적을 어떻게 변형시키는지를 살펴본다. 변형된 궤적의 아크 길이 l(x(t)) 을 측정함으로써, 네트워크가 입력 변화를 얼마나 확대하거나 축소하는지를 직접적으로 파악할 수 있다. 논문은 ReLU와 hard‑tanh와 같은 조각별 선형 활성화 함수를 갖는 완전 연결 네트워크에 대해, 무작위 초기화된 가중치가 평균 0, 분산 σ²_w/k (입력 차원 k에 대한 스케일링)인 정규분포에서 샘플링될 때, 궤적 길이가 평균적으로 O((σ_w √k)ⁿ) 정도 지수적으로 증가한다는 정리를 증명한다. 여기서 n 은 네트워크의 깊이이며, 깊이가 증가할수록 작은 입력 변동이 출력에 미치는 영향이 급격히 확대된다. 이 결과는 기존 연구에서 제시된 ‘선형 영역(linear region)’이 깊이에 따라 기하급수적으로 늘어나는 현상을 새로운 관점에서 설명한다. 다음으로 저자들은 ‘활성 패턴(activation pattern)’과 ‘뉴런 전이(neuron transition)’를 정의한다. 활성 패턴은 각 뉴런이 현재 입력에 대해 활성(1) 또는 비활성(0) 상태에 있는지를 나타내는 이진 문자열이며, 입력이 궤적을 따라 이동할 때 패턴이 바뀌는 순간을 전이라고 부른다. 논문은 모든 가능한 가중치 설정에 대해 활성 패턴의 최대 개수가 O(k^{mn}) (ReLU) 혹은 O((2k)^{mn}) (hard‑tanh) 로 상한을 잡을 수 있음을 보이며, 이는 Montufar 등(2014)의 하한과 일치한다. 따라서 깊은 네트워크는 입력 공간을 수많은 볼록 다면체로 분할하고, 각 다면체마다 서로 다른 선형 함수를 적용한다는 직관이 수학적으로 뒷받침된다. 실험 부분에서는 MNIST와 CIFAR‑10 데이터셋을 사용해 두 가지 주요 현상을 검증한다. 첫 번째는 ‘하위 층 가중치 민감도’이다. 네트워크의 초기(입력에 가까운) 층에 작은 노이즈를 추가하면 궤적 길이가 크게 늘어나고, 모델의 정확도가 급격히 감소한다. 반면 상위 층에 동일한 규모의 노이즈를 주어도 성능 저하가 미미하다. 이는 정리에서 도출된 “깊은 층일수록 파라미터 변화가 출력에 미치는 영향이 작다”는 결론과 일치한다. 두 번째는 ‘궤적 정규화(trajectory regularization)’의 효과이다. 배치 정규화가 학습 과정에서 궤적 길이를 일정하게 유지해 안정적인 학습을 돕는다는 관찰에서 출발해, 저자들은 손실 함수에 궤적 길이 변동을 억제하는 정규화 항을 추가한다. 실험 결과, 이 방법은 배치 정규화와 거의 동일한 학습 속도와 최종 정확도를 제공하면서, 배치 정규화가 필요로 하는 미니배치 통계 계산을 생략해 계산 비용을 절감한다. 논문의 기여는 크게 네 가지로 정리할 수 있다. (1) 네트워크 구조와 가중치 초기화가 표현력에 미치는 영향을 정량화하는 새로운 측정 도구인 궤적 길이를 제안했다. (2) 궤적 길이가 깊이에 따라 지수적으로 성장한다는 이론적 증명을 제공함으로써, 깊이가 깊을수록 네트워크가 구현할 수 있는 비선형 함수의 복잡도가 급격히 증가함을 밝혀냈다. (3) 하위 층 가중치가 전체 성능에 미치는 영향이 크다는 실험적 증거를 제시해, 네트워크 설계 및 학습 전략에서 초기 층의 최적화가 중요함을 강조했다. (4) 배치 정규화와 동일한 효과를 갖는 궤적 정규화 기법을 제안해, 계산 효율성을 높이면서도 학습 안정성을 유지할 수 있음을 보였다. 이러한 연구는 딥러닝 이론과 실무 사이의 격차를 메우는 데 기여한다. 특히, 네트워크 깊이가 왜 중요한지, 그리고 어떻게 하면 깊은 네트워크를 효율적으로 학습시킬 수 있는지에 대한 직관적이면서도 수학적으로 엄밀한 설명을 제공한다. 앞으로의 연구는 이 프레임워크를 컨볼루션, 트랜스포머 등 다양한 아키텍처에 확장하고, 궤적 길이와 일반화 성능 사이의 관계를 보다 정밀하게 규명하는 방향으로 진행될 수 있다.