자기일관성으로 강화한 암묵적 모델 비교 정확도 향상

초록

본 논문은 암묵적 베이지안 추론(ABI)에서 모델 비교 시 발생하는 외삽 편향을 완화하기 위해 자기일관성(SC) 손실을 도입한다. 네 가지 암묵적 모델 비교 방법(NPE, NPLE, NEE, NPMP)을 평가한 결과, 파라미터 사후분포를 이용해 주변가능도를 추정하는 방법이 가장 안정적이며, 특히 분석적 가능도가 존재할 때 SC 훈련을 추가하면 심각한 모델 오차 상황에서도 정확도가 크게 개선된다. 가능도 없이 수행되는 방법(NEE, NPMP)은 SC의 효과가 제한적이다. 실험은 두 개의 합성 사례와 두 개의 실제 데이터셋을 사용했으며, 최종적으로 “사후분포 기반 방법을 우선 사용하고, 실데이터에 SC 훈련을 병행하라”는 실용적 가이드를 제시한다.

상세 분석

이 연구는 암묵적 베이지안 모델 비교(Amortized Bayesian Model Comparison, ABMC)를 네 가지 구현 방식으로 체계화한다. 첫 번째는 Neural Posterior Estimation(NPE)으로, 사후분포 qϕ(θ|y) 를 학습하고 식(5)를 이용해 주변가능도 p(y|M) 를 직접 계산한다. 두 번째는 Neural Posterior‑Likelihood Estimation(NPLE)으로, 가능도가 없을 때 qψ(y|θ) 를 추가 학습해 식(10)으로 주변가능도를 추정한다. 세 번째와 네 번째는 각각 Neural Evidence Estimation(NEE)와 Neural Posterior Model Probabilities(NPMP)로, 모델 전체의 증거 p(y|M) 또는 사후 모델 확률 p(M|y) 를 직접 예측한다. 주요 문제는 훈련 시 시뮬레이션으로 만든 데이터가 실제 관측치와 분포가 다를 경우, 특히 일부 후보 모델이 실제 생성 과정을 제대로 설명하지 못하는 ‘모델 미지정’ 상황에서 신경망이 OOD(Out‑of‑Distribution) 현상을 보여 추정이 크게 왜곡된다는 점이다.

이에 저자들은 자기일관성(SC) 손실을 도입한다. SC는 식(5)의 좌변인 주변가능도가 파라미터 θ 에 무관함을 이용해, 여러 θ 샘플에 대해 계산된 로그 주변가능도 추정값의 분산을 최소화한다. 구체적으로 NPE와 NPLE에서는 λSC = Varθ