변분 분포 뉴런

초록

본 논문은 기존 신경망의 스칼라 활성화를 확장하여, 각 뉴런을 1차원 변분 오토인코더(VAE) 블록으로 구현한다. 뉴런 내부에 사전·후행 분포와 로컬 ELBO를 두어, 활성값 자체가 확률분포가 되도록 설계하고, KL 정규화와 다양한 제어 메트릭을 통해 붕괴를 방지한다. 또한 각 뉴런에 자동회귀(AR) 동역학을 부여해 시간적 지속성을 조절한다.

상세 분석

이 논문은 “뉴런 = 미니 변분 추론”이라는 혁신적인 관점을 제시한다. 기존 딥러닝에서는 불확실성이 주로 전역 잠재변수나 가중치 수준에 국한되었으며, 개별 뉴런은 결정론적 스칼라 값을 전달한다. 저자들은 이를 탈피해 각 뉴런이 자체적인 잠재변수 z 와 사전 p(z) , 후행 q(z|h) 를 갖고, 로컬 ELBO = E_q