유한 신경망을 가우시안 프로세스 혼합으로: 오류 한계와 사전 선택

초록

본 논문은 유한 폭·깊이의 신경망을 가우시안 프로세스(GP) 혼합 모델(GMM)으로 근사하는 알고리즘을 제시한다. 2‑Wasserstein 거리를 이용해 근사 오차를 정량화하고, 원하는 정확도 ε에 대해 입력 집합에서 ε‑근접한 GMM을 보장한다. 또한 오차 경계가 미분 가능함을 이용해 신경망 파라미터를 조정해 특정 GP 사전을 구현하는 방법을 제안한다.

상세 분석

이 연구는 기존의 “무한 폭 신경망 ≈ GP” 결과를 유한 네트워크에 확장하려는 시도이다. 핵심 아이디어는 각 레이어의 출력 분포를 이산 서명(signature) 근사로 변환한 뒤, 가우시안 가중치·바이어스와 결합해 정확히 Gaussian Mixture Distribution(GMD)으로 전파하는 것이다. 이를 위해 저자들은 다음과 같은 기술적 흐름을 구축한다.

1. Wasserstein 거리 선택 – 2‑Wasserstein(ℓ₂) 거리는 평균·공분산 차이를 직접 반영하므로, 오차 한계가 의미하는 바가 직관적이다. 또한, Wasserstein 거리의 삼각 부등식과 최적 수송 이론을 이용해 레이어별 근사 오차를 누적하고 전체 네트워크에 대한 전역 경계를 도출한다.

2. Signature Approximation – 연속형 출력 분포를 제한된 개수 N개의 Dirac 질량으로 표현한다. 이 이산화는 최적 양자화(codebook)와 동일한 수학적 구조를 가지며, 비선형 활성화 함수 뒤에서도 정확히 전파될 수 있다. 활성화 후의 분포는 다시 가우시안 혼합 형태가 되며, 이는 다음 레이어 입력으로 사용된다.

3. 오차 전파와 인터벌 연산 – 각 레이어에서 발생하는 근사 오차를 2‑Wasserstein 거리로 상한한다. 저자들은 이를 인터벌 연산(interval arithmetic)으로 합산해 전체 네트워크에 대한 최종 오차 상한을 얻는다. 중요한 점은 이 상한이 균등 수렴을 보장한다는 것으로, GMM의 컴포넌트 수 M을 늘리면 ε→0 으로 수렴한다는 정리(정리 3.2)를 제시한다.

4. 미분 가능성 – 오차 경계는 GMM 파라미터와 신경망 파라미터에 대해 조각별 미분 가능함을 증명한다. 따라서 경사 기반 최적화(예: Adam)으로 신경망을 조정해 목표 GP(또는 GMM)의 함수적 특성을 모방하도록 학습할 수 있다. 이는 기존 KL‑다이버전스 기반 사전 설계와 달리 명시적 오류 보장을 제공한다.

5. 실험적 검증 – 저자들은 완전 연결망과 컨볼루션망을 포함한 다양한 아키텍처에 대해 회귀와 분류 두 가지 작업을 수행했다. MNIST, CIFAR‑10, UCI 데이터셋에서 GMM 근사가 실제 SNN 출력과 거의 일치함을 보였으며, 특히 컴포넌트 수가 적어도 (M≈10~20) 충분히 정확한 근사를 얻을 수 있음을 확인했다. 또한, (i) 불확실성 정량화와 (ii) 사전 선택 두 응용에서 기존 방법보다 향상된 성능을 기록했다.

주요 기여는 다음과 같다.

• 유한 신경망을 GMM으로 근사하면서 정형화된 2‑Wasserstein 오차 한계를 제공한다.
• 입력 집합이 유한할 경우 ε‑정밀도 보장을 이론적으로 증명한다.
• 오차 경계의 미분 가능성을 활용해 신경망 파라미터를 직접 최적화해 원하는 GP 사전을 구현한다.
• 대규모 실험을 통해 실용성과 계산 비용(깊이·폭 증가 시 선형/다항적 증가) 를 평가한다.

이 논문은 신경망의 함수 공간 해석을 확장하고, 베이지안 딥러닝에서 사전 설계와 불확실성 추정에 새로운 도구를 제공한다는 점에서 의미가 크다.