대규모 데이터셋을 위한 적응형 베이지안 워크플로우

초록

베이지안 추론에서 빠른 암묵화 추론과 정확한 MCMC를 결합한 적응형 워크플로우를 제안한다. 데이터별 진단을 통해 암묵화 추론이 충분히 신뢰될 경우 즉시 사용하고, 그렇지 않으면 PSIS 보정과 ChEES‑HMC를 단계적으로 적용한다. 수만 개의 데이터셋에 대해 효율성을 크게 높이면서도 사후 분포 품질을 유지한다.

상세 분석

본 논문은 베이지안 추론의 두 축인 계산 속도와 샘플링 정확도 사이의 트레이드오프를 파레토 전선이라는 개념으로 시각화하고, 이를 동적으로 이동하는 워크플로우를 설계한다. 먼저 사전 시뮬레이션을 통해 조건부 정규화 흐름을 학습시켜 암묵화 베이지안 추론(amortized Bayesian inference, ABI) 모델 qϕ(θ|y)를 구축한다. 학습 단계에서는 전방 KL 손실을 최소화하며, 시뮬레이션 기반 교정(SBC)과 파라미터 회복 검증을 통해 모델의 캘리브레이션을 확인한다. 검증이 통과하면 실제 관측 데이터 K개에 대해 단계별 추론을 진행한다. 1단계에서는 qϕ를 이용해 즉시 사후 샘플을 생성하고, Mahalanobis 거리 기반 OOD 테스트로 데이터가 학습 분포 내에 있는지 판단한다. OOD로 판정되면 2단계로 넘어가 PSIS(Importance Sampling) 가중치를 계산해 샘플을 재가중하고, PSIS 효율성이 낮으면 3단계에서 ChEES‑HMC를 초기값으로 사용해 전통적인 MCMC를 수행한다. 각 단계는 이전 단계의 샘플을 재활용함으로써 계산 중복을 최소화한다. 진단 도구로는 SBC, 파라미터 회복, L‑C2ST 등 다양한 통계 검정이 제시되며, 필요에 따라 선택적으로 적용한다. 실험에서는 합성 및 실제 데이터셋(수만 개)에서 전체 실행 시간을 크게 단축하면서도 사후 분포의 ESS와 R̂ 지표가 MCMC 단독 대비 동등하거나 개선되는 것을 확인한다. 이 접근은 ABI의 빠른 추론 장점을 유지하면서도 MCMC의 이론적 보장을 필요에 따라 제공함으로써 대규모 베이지안 분석에 실용적인 솔루션을 제공한다.