단조 활성화 함수를 이용한 확률적 신경망과 지수 패밀리 RBM

** 본 논문은 “Stochastic Neural Networks with Monotonic Activation Functions”라는 제목 아래, 부드럽고 단조적인 활성화 함수를 갖는 뉴런을 확률적 유닛으로 변환하는 새로운 라플라스 근사 방법을 제시한다. 기존의 제한된 지수 패밀리(RBM에서 사용되는 베르누이, 가우시안, 카테고리컬, 감마, 포아송 등)와 달리, 저자들은 임의의 연속 단조 함수 \(f:\mathbb R\rightarrow\mathbb R\) 에 대해 평균값 \(f(\eta)\) 와 미분값 \(f'(\eta)\) 만을 이용해 조건부 확률 \(p(h\mid\eta)\) 를 가우시안 \(\mathcal N\!\big(f(\eta),\,f'(\eta)\big)\) 으로 근사한다. 이 근사는 Bregman 발산 \(D_f(\eta\|h)\) 의 2차 테일러 전개에서 도출되며, 모드가 \(h=f(\eta)\) 이고, 로그 확률이 \(-\frac{1}{2}(h-f(\eta))^2/f'(\eta)\) 와 일치함을 보인다. 따라서 복잡한 지수 패밀리 분포를 직접 샘플링할 필요 없이, 평균값에 가우시안 잡음을 추가하는 간단한 절차만으로 “확률적 유닛”을 구현할 수 있다. 이 라플라스 근사를 기반으로 저자들은 EFH(Exponential‑family Harmonium) 구조를 단순화한 Exp‑RBM(Exponential‑family RBM) 모델을 정의한다. 핵심 아이디어는 충분통계량을 항등함수 \(t(x)=x\) 로 제한함으로써, 각 유닛의 조건부 분포가 단일 평균 파라미터 \(f(\eta)\) 만을 갖게 하는 것이다. 이때 에너지 함수는 \