잔차 신경망의 정확한 가우시안 모멘트 폐쇄형 해법

초록

본 논문은 다변량 정규분포 입력을 잔차 구조를 가진 심층 신경망에 층별로 전달하면서 평균과 공분산을 정확히 계산하는 방법을 제시한다. 프로빗, GeLU, ReLU(GeLU 한계), Heaviside(프로빗 한계), 사인 활성함수에 대해 폐쇄형 1차·2차 모멘트를 유도하고, 이를 잔차 및 일반 피드포워드 층에 적용한다. 실험에서는 무작위 네트워크와 실제 데이터에서 기존 근사법 대비 KL 발산이 수십 배~수백 배 개선됨을 보이며, 변분 베이지안 네트워크에서도 백배 수준의 정확도 향상을 확인한다. 또한 비정규성에 대한 사전 오류 한계와 확률적 활성함수에 대한 초기 탐색을 제공한다.

상세 분석

이 논문은 “Gaussian moment propagation”이라는 오래된 문제에 대한 근본적인 해결책을 제시한다. 기존 방법들은 (1) 작은 공분산 가정, (2) 대각 공분산만 고려, (3) 특정 활성함수에 대해 근사식만 제공하는 등 제한적인 전제조건에 의존해 왔다. 저자들은 이러한 제약을 완전히 없애고, 다변량 정규분포 입력이 어떤 형태의 선형 변환·잔차 연결을 거치더라도, 활성함수 적용 후의 정확한 1차·2차 모멘트를 구할 수 있는 폐쇄형 식을 도출한다. 핵심은 세 가지 기본 함수 Mσ, Kσ, Lσ를 정의하고, 각각을 프로빗, GeLU, 사인 등에 대해 고차원 스테인즈 레마와 Gaussian ODE, 특성함수 등을 활용해 해석적으로 계산한 점이다. 특히 ReLU와 Heaviside는 GeLU·프로빗의 극한으로부터 Dominated Convergence Theorem을 적용해 한계값을 정확히 구함으로써, 기존 문헌에서 “근사”로만 남아 있던 부분을 완전한 해로 전환한다.

이론적으로는 Lemma 2.4가 층별 평균·공분산을 구하는 일반식(μ, ν, τ, κ 등)을 제시하고, 이를 기반으로 Y_ana라는 Gaussian 근사 과정을 정의한다. 이어서 Appendix H에서 Wasserstein 거리 기반의 오류 전파 식을 증명해, 각 층의 Lipschitz 상수와 비정규성 강제항이 전체 오류에 어떻게 누적되는지를 정량화한다. 비정규성 강제항은 2차 Poincaré 부등식에 의해 상한이 주어지며, 이는 “깊은 네트워크에서 비선형성·분산이 상호작용할 때 발생하는 비정규성”을 명시적으로 드러낸다.

실험에서는 38개의 무작위 네트워크 앙상블(다양한 깊이·폭·활성함수·잔차 구조)과 실제 회귀·분류 데이터셋을 대상으로, Y_ana와 기존 방법(Y_mfa, Y_lin, Y_u'95, Y_u'02) 사이의 KL 발산 및 Wasserstein 거리를 측정한다. 결과는 특히 입력 분산이 큰 경우 KL 발산이 10⁶배까지 차이 나는 등, 기존 근사법이 급격히 부정확해지는 상황에서도 Y_ana는 기계적 정밀도(≈10⁻¹⁵) 수준의 정확도를 유지한다. 변분 베이지안 신경망 실험에서는 Monte Carlo 기반의 “ground truth”와 비교했을 때, Y_ana 기반 변분 추정이 KL 기준으로 100배 이상 개선됨을 보고한다.

한계점으로는 (1) 비정규성 강제항에 대한 상한이 다소 느슨하고 실제 오류와의 정량적 차이가 클 수 있음, (2) 확률적 활성함수(예: Dropout, Stochastic ReLU) 분석이 초기 단계에 머물러 있어 완전한 이론적 정당성이 부족함, (3) 고차원 공분산 행렬을 직접 다루는 계산 복잡도가 O(d³) 수준으로, 매우 넓은 네트워크에서는 메모리·시간 부담이 존재한다는 점을 언급한다. 그럼에도 불구하고, “정규분포 입력에 대한 정확한 순간 매칭”이라는 목표를 완전 달성한 최초의 연구로 평가할 수 있다.