지연 수용 슬라이스 샘플링 효율적 베이지안 추론을 위한 새로운 접근

초록

본 논문은 비용이 많이 드는 목표 밀도 ϱ에 대해 저렴한 근사 ϱₐₚₚ을 이용해 지연 수용(Delayed Acceptance) 전략을 적용한 슬라이스 샘플링 방법을 제안한다. 이상적인 슬라이스 샘플링과 하이브리드 슬라이스 샘플링에 각각 지연 수용을 도입하여 마코프 체인의 불변성 및 에르고딕성을 보장하고, 메트로폴리스‑헤이스팅 대비 샘플링 효율이 향상됨을 이론과 실험을 통해 입증한다.

상세 분석

본 연구는 슬라이스 샘플링이 목표 밀도 ϱ의 초수준 집합(Gₜ,ϱ) 위에서 직접 표본을 추출해야 하는데, 이는 ϱ를 여러 번 평가해야 하므로 계산 비용이 크게 증가한다는 문제점을 정확히 짚어낸다. 이를 해결하기 위해 저비용 근사밀도 ϱₐₚₚ을 도입하고, ϱ를 ϱₐₚₚ·b_ϱ (b_ϱ=ϱ/ϱₐₚₚ) 로 분해한다. 지연 수용(Delayed Acceptance) 아이디어는 먼저 ϱₐₚₚ에 대한 초수준 집합 Gₛ,ϱₐₚₚ에서 후보 y를 뽑고, 이후 b_ϱ의 초수준 집합 Gₜ,b_ϱ에 속하는지를 확인함으로써 불필요한 ϱ 평가를 회피한다. 이 과정은 두 단계의 수용 확률 α₁(x,y)=min(1,ϱₐₚₚ(y)/ϱₐₚₚ(x))와 α₂(x,y)=min(1,b_ϱ(y)/b_ϱ(x)) 로 명시되며, 각각 첫 번째와 두 번째 단계에서 사용된다.

이론적으로 저자는 Assumption 1을 통해 모든 (s,t) 쌍에 대해 Gₛ,ϱₐₚₚ∩Gₜ,b_ϱ 의 측정이 양수임을 가정하고, 이를 기반으로 전이 커널 S_DA 를 정의한다. S_DA는 기존 이상적 슬라이스 샘플링 커널 S와 동일한 형태를 가지지만, 두 개의 독립적인 초수준 변수 s와 t에 대해 적분한다. 이 커널은 π-가역성을 유지하고, 기존 연구에서 제시된 제품 슬라이스 샘플링(product slice sampling) 결과와 일치함을 보인다. 특히, b_ϱ가 유계가 아니어도 적용 가능하도록 일반화한 점이 기존 이론을 확장한다.

하이브리드 슬라이스 샘플링(HSS)에서는 π₀,t‑불변 전이 커널 Hₜ 를 사용한다. 저자는 Hₜ 를 그대로 유지하면서도 지연 수용 절차를 삽입한 DA‑HSS 알고리즘을 제시한다. 여기서는 후보 y를 Hₛ (x,·) 로부터 추출하고, b_ϱ에 대한 검증을 추가함으로써 전체 체인의 π‑불변성을 보존한다. 또한, DA‑MH와 비교했을 때, 슬라이스 샘플링의 특성상 제안된 방법이 더 높은 수용률과 더 빠른 혼합을 제공한다는 정량적 정리를 증명한다.

실험 부분에서는 (1) 고차원 다변량 정규분포, (2) 비선형 회귀 모델의 베이지안 추정, (3) PDE 기반 역문제 등 세 가지 사례를 통해 ϱₐₚₚ을 다르게 설계하고, DA‑SS와 DA‑HSS가 기존 MH‑DA, 표준 슬라이스 샘플링 대비 평균 실행 시간과 유효 샘플 수(ESS)에서 현저히 우수함을 보여준다. 특히, ϱₐₚₚ이 원본 ϱ와 높은 상관을 유지하면서도 평가 비용이 10배 이하인 경우, 전체 알고리즘의 가속 비율이 3~5배에 달한다.

요약하면, 이 논문은 슬라이스 샘플링에 지연 수용 메커니즘을 성공적으로 통합함으로써, 비용이 큰 likelihood 혹은 복잡한 물리 모델을 포함하는 베이지안 문제에 대해 실용적인 고효율 MCMC 샘플러를 제공한다는 점에서 큰 의의를 가진다.