가중치와 분산 불확실성을 고려한 회귀용 베이지안 신경망

초록

본 논문은 블런델 등(2015)의 가중치 불확실성 프레임워크를 확장하여, 회귀 문제에서 관측 분산을 확률 변수로 모델링한다. 변분 베이지안 방법으로 가중치와 분산 모두에 대해 대각 가우시안 사후분포를 추정하고, 소프트플러스 변환을 통해 양의 분산을 보장한다. 합성 함수 근사와 리보플라빈 유전 데이터셋 실험을 통해 고정 분산 대비 예측 정확도와 신뢰구간 커버리지가 크게 향상됨을 입증한다.

상세 분석

이 연구는 베이지안 신경망(BNN)에서 흔히 간과되는 “관측 분산”의 불확실성을 정량화한다는 점에서 의미가 크다. 기존 블런델 et al. (2015) 방식은 가중치와 편향에 대한 사전·사후 분포만을 다루고, 회귀 손실에 사용되는 가우시안 likelihood의 분산 σ²를 고정값으로 설정한다. 그러나 데이터가 제한적이거나 노이즈 수준이 불명확한 상황에서는 σ²를 점추정하는 것이 과신(over‑confidence)된 예측을 초래한다. 저자들은 σ²를 또 다른 확률 변수 S로 두고, S에 대해 정규 사전과 변분 사후를 정의한다. 변분 사후는 μ_L와 ρ_L(softplus를 통한 표준편차)로 파라미터화된 대각 가우시안이며, 이는 기존 가중치 사후와 완전히 독립적인 factorized 형태를 유지한다. 이렇게 하면 ELBO(증거 하한)를 최적화할 때, 로그우도 항에 σ²가 확률적 변수로 들어가므로 기대값을 통해 “분산에 대한 불확실성”이 자연스럽게 반영된다.

수식적으로는
 y_i | x_i, W, S ∼ N(ϕ(x_i; W), g(S)I) (g(S)=log(1+exp S))
이며, 변분 목표는
 F(η)=E_{q(W,S)}