강제 수용률을 적용한 견고한 적응형 메트로폴리스 알고리즘

초록

본 논문은 기존 적응형 메트로폴리스(AM) 알고리즘의 공분산 추정이 불안정한 경우를 보완하기 위해, 목표 분포의 형태를 추정하면서 동시에 목표 수용률을 강제하는 새로운 적응 규칙을 제시한다. 제안된 방법은 계산 비용이 추가되지 않으며, 2차 모멘트가 존재하지 않는 Student‑t 분포와 같은 어려운 사례에서도 안정적인 샘플링을 보여준다.

상세 분석

Haario·Saksman·Tamminen이 제시한 AM 알고리즘은 현재까지 가장 널리 쓰이는 다변량 메트로폴리스 샘플링 기법 중 하나이다. 이 방법은 사후 분포의 공분산을 실시간으로 추정해 제안 분포의 공분산으로 사용함으로써, 사전 지식이 거의 없을 때도 효율적인 탐색을 가능하게 한다. 그러나 AM은 공분산 추정이 불안정해지는 상황, 특히 목표 분포가 무한한 두 번째 모멘트를 갖거나 강한 꼬리를 가질 때 성능이 급격히 저하된다. 기존 연구에서는 이러한 문제를 완화하기 위해 스케일 조정(adaptive scaling)만을 별도로 적용하는 방법이 제안되었지만, 이는 공분산 구조 자체를 개선하지 못한다는 한계가 있다.

본 논문은 두 가지 핵심 아이디어를 결합한다. 첫째, 제안 분포의 형태(공분산 구조)를 추정하면서 동시에 목표 수용률을 강제로 맞추는 ‘coerced acceptance rate’ 메커니즘을 도입한다. 구체적으로, 현재까지 수집된 샘플의 공분산 추정값 Σₙ에 대해, 수용률 rₙ이 사전에 지정한 목표값 r와 차이가 발생하면, Σₙ을 일정 비율로 확대하거나 축소한다. 이때 확대·축소 비율은 rₙ−r의 부호와 크기에 비례하도록 설계되어, 수용률이 낮으면 제안 폭을 넓혀 탐색을 촉진하고, 수용률이 높으면 제안 폭을 좁혀 효율을 높인다.

둘째, 이 적응 규칙은 기존 AM 알고리즘에 거의 비용을 추가하지 않는다. 공분산 업데이트는 기존과 동일하게 O(d²) 연산을 사용하고, 수용률 기반 스케일 조정은 단순한 스칼라 곱셈 한 번으로 구현된다. 따라서 전체 복잡도는 변하지 않으며, 구현상의 복잡성도 크게 증가하지 않는다.

실험에서는 2차 모멘트가 존재하지 않는 자유도 1인 Student‑t 분포를 목표로 삼아, AM이 공분산을 과도하게 확대해 발산하는 현상을 확인하였다. 반면 제안 알고리즘은 수용률 강제 메커니즘 덕분에 공분산이 적절히 억제되어 안정적인 체인 수렴을 보였다. 또한, 정규분포·다변량 정규분포·베타·감마 등 2차 모멘트가 존재하는 다양한 사례에서도, 기존 AM에 스케일 적응을 추가한 버전과 비교했을 때 평균 수용률, 유효 샘플 크기(ESS), 자동 상관 시간(IACT) 측면에서 경쟁력 있는 성능을 기록하였다.

이러한 결과는 제안된 적응 규칙이 “형태 추정”과 “수용률 조절”을 동시에 수행함으로써, 목표 분포의 꼬리 특성이나 비정규성에 강인하게 대응할 수 있음을 시사한다. 특히, 복잡한 베이지안 모델에서 사전 지식이 부족하거나 사후 분포가 다중 피크·비대칭·무한 분산을 가질 때, 기존 AM이 겪는 수렴 불안정성을 크게 완화할 수 있을 것으로 기대된다.