메트로폴리스 헤이스팅스 알고리즘의 기본 라오 블랙웰리제이션

초록

Casella와 Robert의 기존 라오‑블랙웰리제이션은 계산량과 저장 요구가 크다. 본 논문은 모든 Metropolis–Hastings 추정량에 대해 변동을 감소시키면서도 연산 비용을 제한하는 보편적인 방법을 제시한다. 개선된 추정량에 대한 중심극한정리를 증명하고, 간단한 예제와 probit 모델을 통해 성능을 실증한다.

상세 분석

본 연구는 Metropolis–Hastings(MH) 알고리즘의 샘플링 과정에서 발생하는 불필요한 변동을 제거하기 위해 라오‑블랙웰리제이션(RB) 기법을 재구성한다. 기존 Casella·Robert 방식은 수용-거부 단계에서 전체 제안 경로를 저장하고, 각 경로에 대해 조건부 기대값을 계산함으로써 분산을 크게 감소시켰지만, 메모리 사용량이 제안 횟수에 비례해 급격히 늘어나고, 기대값 계산에 필요한 추가 연산이 전체 실행 시간을 지배하게 된다. 저자들은 이러한 비효율성을 극복하기 위해 “바닐라” 라오‑블랙웰리제이션을 도입한다. 핵심 아이디어는 각 제안점 y에 대해 수용 확률 α(x,y)를 이용해 가중 평균을 구하는 것이 아니라, 현재 상태 x와 제안 y 사이의 전이 확률을 직접 활용해 조건부 기대값을 닫힌 형태로 표현한다는 점이다. 구체적으로, MH 체인의 마코프 전이 행렬 P를 이용해 함수 h에 대한 기대값 Eπ