자연 파라미터 네트워크: 확률적 신경망의 새로운 패러다임

본 논문은 딥러닝 모델이 데이터가 부족하거나 불확실성을 적절히 다루지 못하는 문제점을 해결하기 위해 ‘자연 파라미터 네트워크(Natural‑Parameter Networks, NPN)’라는 새로운 확률적 신경망 구조를 제안한다. NPN은 전통적인 신경망이 가중치와 뉴런을 고정된 실수값으로 다루는 반면, 가중치·바이어스·뉴런을 모두 지수족(exp​onential‑family) 분포로 모델링한다. 지수족 분포는 자연 파라미터 η=(c,d,… ) 로 완전히 기술될 수 있으며, 평균·분산과 같은 충분통계와의 변환이 양방향으로 가능하다. 이러한 특성을 이용해 NPN은 입력 데이터를 평균·분산 형태의 확률분포로 변환하여 네트워크에 전달하고, 각 레이어에서 선형·비선형 변환을 수행한 뒤 다시 자연 파라미터 형태로 출력한다. **선형 변환**에서는 입력 뉴런 분포 a^{(l‑1)}와 가중치·바이어스 분포 W^{(l)}, b^{(l)}의 평균·분산을 직접 곱하고 합산해 출력 분포 o^{(l)}의 평균과 분산을 구한다. 구한 평균·분산을 역변환 함수 f^{-1}에 넣어 새로운 자연 파라미터 (o^{(l)}_c, o^{(l)}_d) 를 얻는다. 이 과정은 모든 원소에 대해 요소별(element‑wise) 연산으로 수행되며, 복잡도는 기존 신경망과 동일하게 O(N)이다. **비선형 변환**에서는 활성화 함수 v(x)를 특별히 설계한다. 저자들은 지수족 분포의 충분통계 u_i(x)에 대해 v(x)=r−q·exp(−τ·u_i(x)) 형태를 선택하면, 기대값 E