적응형 마코프 체인 몽테카를로의 라그랑주 확산 근사

초록

본 논문은 적응형 마코프 체인 몬테카를로(AMCMC) 알고리즘의 제안 분포가 매 반복마다 변하는 상황에서, 시간 스케일을 가속화하여 메쉬 크기가 0으로 갈 때 비자명한 연속시간 확산 과정으로 수렴함을 보인다. 기존 Gelman‑Gilks‑Roberts(1997)의 차원 확장 방식과는 달리, 상태공간 차원은 고정된 채 시간 연속화에 초점을 맞춘다.

상세 분석

본 연구는 AMCMC의 수렴성을 확률미분방정식(Langevin) 형태의 확산 과정으로 정형화한다는 점에서 이론적 의의가 크다. 기존의 Gelman, Gilks, Roberts(1997)에서는 제안 분포의 스케일을 조정하면서 차원을 무한대로 확장해 가는 “diffusion limit”을 제시했으며, 이는 메트로폴리스‑하스팅스 알고리즘의 대규모 차원 거동을 설명한다. 그러나 AMCMC은 매 단계마다 제안 분포가 적응적으로 변하기 때문에, 차원 확장은 자연스럽지 않다. 저자들은 대신 시간 파라미터를 (t\mapsto t/\Delta)와 같이 가속화하고, 메쉬 크기 (\Delta\to0)일 때 연속시간 마코프 과정으로의 수렴을 증명한다.

핵심은 두 가지 스케일링이다. 첫째, 상태 변수 (X_n)는 기존 체인과 동일하게 유지하되, 제안 분포의 파라미터 (\theta_n)가 적응 규칙에 따라 업데이트된다. 둘째, 시간 인덱스를 (\Delta)에 비례해 빠르게 진행함으로써, (\Delta)가 작아질수록 한 스텝 내에서 발생하는 작은 변동이 누적되어 확산 항을 형성한다. 이를 수학적으로는 마코프 체인의 전이 커널을 테일러 전개하고, 중심극한정리와 연속함수정리를 결합해 한계 과정의 드리프트와 확산 계수를 도출한다.

저자들은 일반적인 적응 규칙—예를 들어, 수용률 목표값을 유지하기 위한 스케일 파라미터의 로그 업데이트—에 대해 충분조건을 제시한다. 이 조건들은 (i) 파라미터 업데이트가 유계 변동을 갖고, (ii) 업데이트 함수가 리프시츠 연속이며, (iii) 전체 체인이 일정한 소위 “diminishing adaptation” 속성을 만족한다는 것이다. 이러한 가정 하에, 한계 확산 과정은
\