기능적 분포 네트워크

초록

FDN은 입력에 따라 가중치 분포를 조건화하여, 입력별로 예측 불확실성을 조절한다. 작은 하이퍼네트워크가 가중치 평균·분산을 생성하고, β‑ELBO로 학습한다. 실험에서는 1차원 회귀와 UCI 회귀 데이터에서 기존 베이지안, 앙상블, 드롭아웃, 하이퍼네트워크 대비 비슷한 정확도와 더 나은 OOD 불확실성 확장을 보였다.

상세 분석

본 논문은 현대 회귀 모델이 데이터 분포 변동 시 과신(over‑confidence)하는 문제를 해결하기 위해 ‘입력‑조건부 가중치 분포’를 도입한다. 전통적인 베이지안 신경망(BNN)은 전역적인 사후분포 q(θ) 를 학습하지만, FDN은 각 입력 x 에 대해 qϕ(θ|x) 를 생성한다. 이를 구현하기 위해 각 레이어마다 작은 하이퍼네트워크 Aℓ(·) 를 두어, 입력 신호 sℓ (IC‑FDN에서는 원본 입력 x, LP‑FDN에서는 이전 레이어 활성화 aℓ‑1) 를 받아 가중치와 편향의 평균 μ와 로그표준편차 ρ 를 출력한다. 가중치는 대각 가우시안으로 샘플링되며, 재파라미터화 기법을 통해 역전파가 가능하다.

학습 목표는 β‑가중치 KL 항을 포함한 ELBO이다. 구체적으로
L = E_{θ∼qϕ(·|x)}