딥 뉴럴 네트워크의 표현력과 학습: 혼돈의 경계로의 여정

본 논문은 딥 뉴럴 네트워크(DNN)의 표현력과 학습 과정을 ‘동적 모델’과 ‘힐베르트 공간’이라는 두 가지 수학적 프레임워크를 통해 정량적으로 분석한다. 먼저, 저자는 DNN을 연속적인 비선형 시스템으로 모델링하고, 각 층의 출력에 대한 Jacobian 행렬 J(x) = σ′(Wx + b)W을 정의한다. 이 Jacobian의 스펙트럼(특성값) λ를 이용해 시스템이 안정, 혼돈, 혹은 혼돈의 가장자리(edge of chaos) 중 어느 상태에 있는지를 판단한다. λ가 0에 가까우면 시스템이 임계 상태에 도달한다는 가설을 세우고, 이를 통해 깊이가 증가할수록 DNN이 자연스럽게 ‘혼돈의 가장자리’에 접근한다는 이론적 결론을 도출한다. 다음으로, 활성화 함수의 특성을 헤르미트 다항식 전개로 분석한다. Sigmoid, Tanh, ReLU, Swish 등 기존에 널리 쓰이는 활성화 함수를 헤르미트 계수의 분포로 표현하고, 계수의 최대값·최소값·간격이 네트워크의 수렴 속도에 미치는 영향을 실험적으로 조사한다. 실험 결과, 최대 계수가 0.6~0.65, 최소 계수가 0.4~0.45, 그리고 계수 간격이 0.12~0.14일 때 가장 빠른 수렴을 보였다. 이를 기반으로 저자는 ‘헤르미트 계수’를 조절한 새로운 활성화 함수를 제안한다. 이 함수는 계수를 0.5 ± 0.07 범위 내에서 설정해, 기존 함수보다 급격한 감소와 안장점을 최소화하도록 설계되었다. 세 번째 섹션에서는 정보 전달 메커니즘을 ‘입력‑구조 매칭’ 관점에서 고찰한다. 입력 데이터의 차원과 네트워크 토폴로지가 불일치하면, 고차원 안장점이 급증해 학습이 정체될 수 있다고 주장한다. 이를 해결하기 위해 네트워크 규모를 입력 데이터의 복잡도에 맞게 조정하고, 스펙트럼 정규화와 같은 기법을 적용할 것을 제안한다. 또한, 네트워크가 깊어질수록 특성값이 0에 수렴하면서 ‘혼돈의 가장자리’에 도달한다는 점을 강조한다. 다섯 번째 섹션에서는 입력 섭동과 정규화 연산이 임계 표현성에 미치는 영향을 분석한다. 입력에 작은 잡음(가우시안 섭동)을 추가하면 특성값 스펙트럼이 넓어져 시스템이 더 빨리 임계 상태에 도달한다는 실험 결과를 제시한다. L2 정규화와 배치 정규화는 특성값의 분포를 안정화시켜 수렴을 촉진하지만, 과도한 정규화는 표현력을 억제한다는 trade‑off를 확인한다. 실험 부분에서는 제안된 활성화 함수와 기존 함수들을 MNIST와 CIFAR‑10 이미지 분류, 그리고 다변량 시계열 예측 태스크에 적용한다. 결과는 제안 함수가 수렴 속도에서 평균 5~8% 정도 빠르고, 최종 정확도에서도 0.3~0.5%의 소폭 향상을 보였으며, 특히 깊이가 50층 이상인 경우 ‘혼돈의 가장자리’ 현상이 뚜렷하게 나타났다. 그러나 최신 모델(ResNet‑50, EfficientNet 등)과의 직접 비교는 없으며, 제안 함수가 다른 도메인(자연어 처리, 강화 학습)에서 어떻게 작동하는지는 추가 연구가 필요하다. 결론적으로, 논문은 다음과 같은 세 가지 주요 기여를 제시한다. (1) DNN의 깊이와 표현력을 ‘혼돈의 가장자리’라는 복합 현상으로 설명하는 동적 모델 분석 프레임워크, (2) 헤르미트 다항식 계수를 활용해 활성화 함수 설계 시 고려해야 할 구체적 파라미터 제시, (3) 입력‑구조 매칭과 정규화가 수렴 및 임계 표현성에 미치는 영향을 실험적으로 검증. 다만, 이론적 증명의 엄밀성 부족, 가정의 비현실성, 실험 범위의 제한 등으로 인해 실제 적용 가능성을 판단하기엔 추가 검증이 필요하다.