비대칭 독립 마코프 샘플링을 통한 효율적인 베이지안 추론

초록

본 논문은 중요도 샘플링, 마코프 체인 몬테카를로(MCMC) 및 어닐링을 결합한 새로운 베이지안 추론 알고리즘인 Asymptotically Independent Markov Sampling(AIMS)을 제안한다. AIMS는 단계별 온도(β) 스케줄을 이용해 사전분포에서 목표 사후분포까지 점진적으로 이동하며, 이전 단계의 표본을 중요도 가중치로 활용해 독립 메트로폴리스-헤이스팅(IMH) 제안분포를 구성한다. 알고리즘은 적절한 조건 하에 균일 에르고딕성을 보이며, 표본 수가 무한대로 갈 때 제안분포가 목표분포와 일치해 독립 표본을 생성한다. 이론적 분석과 세 가지 수치 실험을 통해 다중모드 및 고차원 사후분포에서도 높은 효율성을 입증한다.

상세 분석

AIMS는 베이지안 추론에서 흔히 마주치는 비정규·고차원·다중모드 사후분포를 효율적으로 샘플링하기 위해 세 가지 전통적 기법을 통합한다. 첫 단계에서 온도 파라미터 β₀=0부터 β_m=1까지 증가시키는 일련의 중간분포 π_j(θ)∝π₀(θ)L(θ)^{β_j}를 정의한다. 각 레벨 j에서 이전 레벨(j‑1)의 표본 {θ_i^{(j‑1)}}{i=1}^{N{j‑1}}를 사용해 중요도 가중치 w_i^{(j‑1)}=π_j(θ_i^{(j‑1)})/π_{j‑1}(θ_i^{(j‑1)})∝L(θ_i^{(j‑1)})^{β_j‑β_{j‑1}}를 계산한다. 이 가중치를 정규화한 \bar w_i^{(j‑1)}와 선택된 전이 커널 K_j(·|·)를 결합해
\hatπ_j(dθ)=∑{i=1}^{N{j‑1}} \bar w_i^{(j‑1)} K_j(dθ|θ_i^{(j‑1)})
라는 혼합 제안분포를 만든다. 이 제안분포는 독립 메트로폴리스‑헤이스팅(IMH) 단계의 전역 제안으로 사용되며, 수용 확률은
α(θ,ξ)=min{1, π_j(ξ) q(θ)/