베이지안 모델 선택을 위한 계산 방법

본 논문은 베이즈 모델 선택과 가설 검정에서 핵심적인 역할을 하는 베이즈 인자(Bayes factor)의 근사 방법들을 포괄적으로 검토한다. 서론에서는 베이즈 인자가 사전 확률과 사후 확률을 연결하는 정규화 상수이며, 직접 계산이 불가능한 경우가 많아 효율적인 근사 기법이 필요함을 강조한다. 이어지는 본문에서는 세 가지 주요 방법—중요도 샘플링(Importance Sampling, IS), 조화 평균 샘플링(Harmonic Mean Sampling, HMS), 그리고 중첩 샘플링(Nested Sampling, NS)—을 각각 이론적 배경, 수식적 전개, 구현 세부 사항, 그리고 장단점 측면에서 상세히 분석한다. 첫 번째 섹션에서는 IS의 기본 아이디어를 소개한다. 목표 분포인 사후 π(θ|D)와 제안 분포 q(θ) 사이의 가중치 w(θ)=π(θ|D)/q(θ)를 이용해 베이즈 인자를 기대값 형태로 표현한다. 여기서 제안 분포의 선택이 효율성에 결정적인 영향을 미치며, 다중 제안 분포(Multi‑proposal IS)와 적응형 중요도 샘플링(Adaptive IS) 등 최신 변형이 제시된다. 또한, IS의 편향과 분산을 제어하기 위한 효율적인 샘플링 전략과, 고차원 문제에서의 ‘중요도 가중치 붕괴(importance weight collapse)’ 현상을 완화하는 기법들을 논의한다. 두 번째 섹션에서는 HMS에 초점을 맞춘다. HMS는 사후 샘플을 이용해 역베이즈 인자를 평균함으로써 베이즈 인자를 추정한다. 수식적으로는 1/Z = E_{π}