분포 이동 상황에서 불확실성 정량화: 적응형 베이지안 프레임워크

초록

본 논문은 테스트 시 입력이 학습 데이터와 다른 공변량 분포를 가질 때, 기존 베이지안 신경망이 제공하는 불확실성 추정이 과소평가되는 문제를 해결한다. 저자들은 훈련 데이터와 테스트 공변량을 모두 조건으로 하는 적응형 사전(prior)을 도입하고, 이를 효율적으로 근사하기 위해 amortized variational inference를 적용한다. 또한 작은 부트스트랩 샘플을 이용해 합성 환경을 생성함으로써 실제 이동된 분포를 시뮬레이션한다. 실험 결과, 제안 방법(VIDS)은 합성·실제 데이터 모두에서 기존 방법보다 더 정확한 불확실성 추정과 향상된 캘리브레이션을 보인다.

상세 분석

이 논문은 “공변량 이동(covariate shift)” 상황에서 예측 불확실성을 정량화하는 새로운 베이지안 접근법을 제시한다. 전통적인 베이지안 신경망은 사전 p(θ) 를 고정하고, 테스트 입력 x* 가 추가되어도 사후 p(θ|D) 가 변하지 않기 때문에, 입력이 훈련 분포와 멀어질 때 발생하는 불확실성을 반영하지 못한다. 저자들은 이를 극복하기 위해 사전 자체를 x* 와 훈련 공변량 x₁:N 에 조건화한 p(θ|x₁:N, x*) 로 정의한다. 이 적응형 사전은 에너지 함수 E(θ; x₁:N, x*) = Σ_i log p(y|x_i, θ) + log p(y|x*, θ) 로 구성되며, 테스트 입력이 훈련 데이터와 유사하면 사전이 거의 변하지 않지만, 크게 벗어나면 사전이 크게 재조정돼 파라미터 공간 전반에 걸친 불확실성을 확대한다.

사후 p(θ|x₁:N, y₁:N, x*) 를 직접 계산하기는 어려우므로, 저자들은 amortized variational inference를 도입한다. 구체적으로, 입력 x* 를 받아 파라미터 θ 의 근사 사후 q_ϕ(θ; x*) 를 출력하는 신경망 h_γ 를 학습한다. q는 평균 μ와 대각 공분산 Σ 로 파라미터화된 다변량 정규분포이며, ELBO를 최적화함으로써 KL(q‖p) 를 최소화한다. 여기서 중요한 점은 ELBO 안에 적응형 사전 p(θ|x₁:N, x*) 가 포함되어 있어, 사전 자체도 학습 과정에서 평가된다. 연속형 y 에 대해서는 Monte Carlo 적분을 사용해 사전의 로그가능도를 근사한다.

하지만 실제 테스트 시점에 이동된 공변량 분포를 미리 알 수 없으므로, 저자들은 훈련 데이터에서 작은 부트스트랩 샘플을 추출해 “합성 환경(synthetic environments)”을 만든다. 각 환경은 훈련 데이터의 부분집합을 사용해 약간 다른 공변량 분포를 시뮬레이션하고, 이를 통해 다양한 잠재적 이동 상황에 대한 변분 목표를 동시에 최적화한다. 이렇게 하면 모델은 실제 이동이 발생했을 때도 사전이 적절히 조정될 수 있다.

제안된 VIDS(Variational Inference under Distribution Shifts) 알고리즘은 세 가지 핵심 기여를 가진다. 첫째, 공변량에 의존하는 에너지 기반 사전 설계; 둘째, 테스트 입력에 조건화된 amortized 변분 사후 학습; 셋째, 부트스트랩 기반 합성 환경을 활용한 다중 시나리오 학습. 실험에서는 합성 로지스틱 회귀, 회귀 및 이미지 분류 데이터셋에 대해 기존 베이지안 신경망, 앙상블, SNGP, DUE 등과 비교했으며, VIDS가 정확도, 캘리브레이션 오류(ECE), 그리고 OOD(Out‑of‑Distribution) 상황에서의 불확실성 추정 모두에서 우수함을 보였다. 특히, 테스트 입력이 훈련 분포에서 멀어질수록 VIDS는 불확실성을 자연스럽게 확대해 과신을 방지한다는 점이 강조된다.

이 접근법은 사전 자체를 데이터 의존적으로 설계한다는 점에서 기존 고정 사전 베이지안 방법과 근본적으로 차별화된다. 또한, 변분 사후를 입력‑조건화함으로써 매 테스트 시점마다 별도 MCMC를 수행할 필요 없이 실시간으로 불확실성을 추정할 수 있다. 다만, 에너지 기반 사전의 정규화 상수 Z(θ) 를 정확히 계산하기 어려워 근사에 의존한다는 점과, 부트스트랩 샘플 수와 크기에 따라 학습 비용이 증가할 수 있다는 한계도 존재한다. 전반적으로, VIDS는 공변량 이동이 빈번한 고위험 분야(의료 영상, 자율 주행 등)에서 신뢰할 수 있는 불확실성 추정을 제공할 수 있는 실용적인 베이지안 프레임워크라 할 수 있다.