예측 최적화 변분 추론: 최적 사후 분포 학습

초록

예측 변분 추론(PVI)은 베이지안 사후를 근사하는 대신, 선택한 스코어링 룰에 따라 사후 예측분포가 실제 데이터 생성 과정을 가장 가깝게 모사하도록 변분 분포를 학습한다. 모델이 잘못 지정되었을 때도 예측 성능을 최적화하고, 파라미터 이질성을 자동으로 탐지해 모델 진단에 활용한다.

상세 분석

본 논문은 기존 변분 추론(VI)이 베이지안 사후와의 KL 발산을 최소화함으로써 근사 정확성을 추구하는 반면, 예측 변분 추론(PVI)은 “예측 최적성”이라는 새로운 목표를 설정한다는 점에서 근본적인 전환을 제시한다. 핵심 아이디어는 사후 예측분포 (q_Y^{\phi}(\tilde y)=\int p(\tilde y\mid\theta)q_{\phi}(\theta)d\theta)와 실제 데이터 생성분포 (p_{\text{true}}(\tilde y)) 사이의 발산을 최소화하는 것이다. 여기서 발산은 로그스코어에 대응하는 KL뿐 아니라, CRPS, Brier score, interval score 등 다양한 적절한 스코어링 룰 (S)에 의해 정의될 수 있다.

PVI의 목적함수는
\