깊이와 폭이 지역 최소값에 미치는 영향

초록

이 논문은 과도한 파라미터 증가를 전제하지 않고, 깊이와 폭이 증가할수록 딥 뉴럴 네트워크의 지역 최소값이 전역 최소값에 가까워지는 이론적 근거를 제시한다. 얕은 네트워크와 일반적인 깊은 네트워크 모두에 대해 정량적 상한을 도출하고, 이를 실험적으로 MNIST, CIFAR‑10, SVHN 등에서 검증한다.

상세 분석

본 연구는 먼저 1‑히든 레이어를 갖는 ReLU 기반 얕은 네트워크에 대해 지역 최소점에서 손실값 L(θ)이 데이터의 전체 제곱노름 ‖Y‖²와 특정 투영 연산의 차이로 표현될 수 있음을 보인다. 식 (3.2)에서 나타난 투영 연산은 네트워크 폭 d가 커질수록 더 큰 부분공간을 차지하게 되며, 이는 지역 최소점이 실제로 더 넓은 파라미터 공간에서 전역 최소점과 동일한 성질을 갖게 함을 의미한다. 즉, 폭이 넓어질수록 ∇θ Ŷ(X,θ) 행렬의 열 수가 증가해 좌측 가역성이 향상되고, 결국 L(θ)≈0에 수렴한다.

다음으로 확률적 분석을 수행한다. 입력‑출력 데이터가 표준 정규분포를 따르는 경우, 활성화 패턴 행렬 Σ의 최소 특이값 s_min(Σ_I)가 일정 수준 이상이면, 폭과 입력 차원 d_x의 곱이 샘플 수 m보다 작을 때 손실이 O((m−d_x d)/m) 수준으로 감소하고, d_x d ≥ 2m이면 손실이 정확히 0이 된다. 이는 기존의 “강한 과잉 파라미터화” 가정 없이도 폭이 충분히 크면 학습이 완전 회귀와 동등한 성능을 얻을 수 있음을 보여준다.

깊은 네트워크에 대해서는 동일한 논리를 층별로 확장한다. 각 층 l에 대해 활성화 패턴 행렬 Σ_{l,k}와 가중치 행렬 W^{(l)}를 이용해 D^{(l)}k = W^{(l)}k Σ{l,k} 를 정의하고, 전체 네트워크의 출력은 연속적인 투영 연산들의 합으로 표현된다. 정리 1에 따르면, 모든 미분 가능한 지역 최소점에서 손실은
L(θ)=½‖Y‖F²−∑{l=1}^{H+1}∑{k=1}^{d_l}½‖P_{N(l)_k} D(l)_k vec(Y)‖2²
와 같이 나타난다. 여기서 P{N(l)_k}는 D(l)k의 영공간에 대한 직교 투영이다. 각 층의 폭 d_l이 증가하면 P{N(l)_k}의 차원이 감소해 두 번째 항이 커지므로 손실이 감소한다. 또한 층이 깊어질수록 (H+1)개의 투영 항이 누적되어 손실 감소 효과가 더욱 강화된다. 즉, 깊이와 폭 모두가 지역 최소값의 품질을 전역 최소값에 가깝게 만든다.

실험에서는 합성 데이터와 표준 이미지 데이터셋(MNIST, CIFAR‑10, SVHN)을 사용해 네트워크 깊이·폭을 단계적으로 늘리며 훈련 손실과 테스트 손실을 측정한다. 결과는 이론적 예측과 일치하여, 폭이 충분히 크고 깊이가 증가할수록 훈련 손실이 급격히 감소하고, 최종적으로 전역 최소값에 근접함을 확인한다. 특히, 과잉 파라미터화가 전혀 가정되지 않은 상황에서도 동일한 현상이 관찰되어, 기존 연구가 요구하던 “모든 파라미터가 데이터보다 많다”는 강한 전제 없이도 비선형 딥 네트워크가 좋은 최적화 특성을 가질 수 있음을 실증한다.

본 논문의 핵심 기여는 (1) 과잉 파라미터화 없이도 깊이·폭이 손실 풍경에 미치는 정량적 영향을 수식으로 명시, (2) 얕은 네트워크와 깊은 네트워크 모두에 대해 동일한 구조적 해석을 제공, (3) 확률적 경계와 실험을 통해 이론적 결과를 검증함으로써, 딥러닝 최적화 이론에 새로운 관점을 제시한다는 점이다.