강건한 amortized 베이지안 추론을 위한 자기일관성 손실 기반 반지도 학습

초록

본 논문은 라벨이 없는 실제 관측 데이터를 활용해 베이지안 자기일관성 손실을 도입함으로써, 시뮬레이션으로만 학습된 Amortized Bayesian Inference(ABI)의 사전‑비대칭 오류를 크게 감소시키는 반지도 학습 프레임워크를 제안한다. 제안 방법은 엄격히 proper한 손실 함수를 사용해 분석적 사후분포를 그대로 목표로 하며, 고차원 시계열·이미지 등 다양한 실제 사례에서 라벨 데이터가 부족하거나 관측이 훈련 분포 밖에 있을 때도 빠르고 정확한 추론을 유지한다.

상세 분석

이 논문은 현재 ABI가 “시뮬레이션 격차(simulation gap)”에 취약하다는 점을 출발점으로 삼는다. 기존의 신경망 기반 사후 추정기는 훈련 시 생성된 파라미터‑관측 쌍 {(θ, x)}에만 의존하기 때문에, 실제 데이터 x가 훈련 분포 p(x)와 크게 다를 경우 사후분포 q(θ|x)가 크게 왜곡된다. 저자들은 이러한 문제를 해결하기 위해 두 가지 핵심 아이디어를 결합한다. 첫째, 베이지안 자기일관성(Bayesian self‑consistency)이라는 수학적 성질을 손실 함수로 변환한다. 베이즈 정리에서 p(x)=p(x|θ)p(θ)/p(θ|x) 가 모든 θ에 대해 일정함을 이용해, 추정된 사후 q(θ|x)와 (가능하면) 추정된 가능도 q(x|θ) 사이의 비율이 상수인지 측정한다. 둘째, 이 자기일관성 손실을 “strictly proper” 즉, 전역 최소점이 진정한 사후분포 p(θ|x)와 정확히 일치하도록 설계한다. 논문에서는 특히 로그 비율의 분산을 최소화하는 형태 C=Varθ