리만 다양체 라그랑주와 해밀턴 몬테카를로 방법에 대한 토론

본 논문은 Girolami와 Calderhead(2010)의 “Riemann manifold Langevin and Hamiltonian Monte Carlo methods”에 대한 두 차례의 논평을 통합한 기술 보고서이다. 첫 번째 논평(저자: J. Cornebise, G. Peters)은 적응형 Monte Carlo(Adaptive MC)와 Riemann manifold 기반 샘플러(RMMALA, RMHMC)의 연관성을 탐구한다. 기존 적응형 MCMC는 전역 공분산 행렬을 과거 샘플을 이용해 추정하거나, 상태에 따라 공분산을 동적으로 조정하는 방식을 사용한다. 그러나 이러한 방법은 “감쇠 적응” 조건을 만족시키지 못하면 편향을 초래할 위험이 있다. 반면 Riemann 접근법은 피셔 정보 행렬(FIM) 혹은 관측 FIM을 직접 제안 분포의 공분산으로 사용함으로써, 별도의 학습 과정 없이 현재 상태의 지역 기하학을 정확히 반영한다. 저자들은 FIM을 직접 계산할 수 없는 경우에도, 스텝 사이즈 적응이나 스텝별 라인 서치와 같은 기법을 결합해 Riemannian MC를 확장할 수 있음을 제안한다. 구체적으로는 (1) 관측 FIM을 이용한 중심화된 Random Walk Metropolis(Hastings) 제안은 RMMALA의 drift 없이 한 단계만 수행한 것과 동등하므로, 이를 시작점으로 삼아 점진적 적응을 진행할 수 있다. (2) Particle MCMC(PMCMC) 내부의 MCMC 단계에 RMHMC를 삽입해 적응 효율을 높이거나, (3) 커브처 기반 라인 서치를 통해 고정점 반복(Fixed Point Iteration) 수렴 조건을 만족하도록 스텝 사이즈를 조절하는 방안을 논한다. 또한, 전이 확률이 다른 모델 서브스페이스를 탐색해야 하는 Reversible Jump MCMC와 같은 전이 차원(MCMC) 기법에도 Riemannian 메트릭을 적용할 가능성을 제시한다. 마지막으로, ABC에서 요약 통계 간 거리 측정에 Riemannian 메트릭을 활용하는 아이디어도 제안한다. 두 번째 논평(저자: J. Cornebise, L. Bornn)은 비식별성(weak identifiability) 모델에서 RMHMC의 실제 성능을 상세히 분석한다. 예시 모델은 y_i ~ N(θ₁ + θ₂², σ_y²)이며, θ₁과 θ₂가 동일한 합을 가질 경우 동일한 데이터 적합도를 제공한다. 사전 분포 N(0, σ_θ²)를 부여하면 후방 분포는 긴 리지를 형성한다. 저자들은 이 모델에 대한 피셔 정보 행렬 G(θ)를 명시적으로 계산하고, 이를 기반으로 RMHMC를 구현한다. 실험에서는 동일한 leapfrog 스텝 사이즈(ε=0.1)와 20번의 leapfrog 단계를 사용해 HMC와 RMHMC의 궤적을 비교한다. 결과는 RMHMC가 리지 전체를 따라 부드럽게 이동하며, 높은 수용률(≈65%)을 유지하는 반면, HMC는 구형 제안으로 인해 리지를 횡단하면서 진동하고, 종종 큰 에너지 오차로 인해 거부된다. 또한, 스텝 사이즈를 크게(ε=1.0) 늘릴 경우 HMC는 급격히 수용률이 떨어지지만, RMHMC는 특정 leapfrog 단계에서만 일시적인 Hamiltonian 급증을 보이고 이후 정상적으로 진행한다. 이는 일반화된 leapfrog 방정식의 고정점 반복(FPI)이 도함수 값이 1 이하일 때 수렴한다는 이론적 조건과 일치한다. 저자들은 θ(0)와 σ_θ에 따라 FPI 수렴 확률을 시각화한 그래프를 제시하고, 스텝 사이즈가 커지고 사전이 넓어질수록 수렴 영역이 급격히 축소됨을 보여준다. 그럼에도 불구하고, RMHMC는 거부 단계에서 이론적 수렴성을 보장하므로 전체 체인에 대한 수렴은 유지된다. 결론적으로, 이 논의문은 (1) Riemann manifold 기반 샘플러가 기존 적응형 MCMC와 자연스럽게 결합될 수 있는 구조적 장점을 가지고 있음을, (2) 비식별성이나 강한 리지와 같은 어려운 기하학적 구조에서도 RMHMC가 효율적인 탐색을 제공함을 실증한다. 또한, 변분 베이지안, ABC, 전이 차원 MCMC 등 다양한 베이지안 추론 프레임워크에 Riemannian 메트릭을 도입하는 연구 방향을 제시함으로써 향후 연구의 폭을 넓힌다.