자동 스텝 사이즈 선택을 통한 랜덤 워크 메트로포리스 알고리즘 최적화

초록

이 논문은 랜덤 워크 메트로포리스-헤스팅스 알고리즘에서 사용자가 직접 설정해야 하는 스텝 사이즈를 자동으로 조정하는 방법을 제안한다. 수용 확률의 로그오즈와 스텝 사이즈 로그 간의 선형 관계를 이용해 목표 수용 확률을 달성하도록 스텝을 업데이트한다. YADAS 소프트웨어에 구현된 사례를 통해 실용성을 입증한다.

상세 분석

본 연구는 MCMC 실무자들이 변수별 랜덤 워크 메트로포리스 알고리즘을 적용할 때 가장 큰 장애물 중 하나인 스텝 사이즈 튜닝 문제를 체계적으로 해결한다. 저자들은 수용 확률 ( \alpha ) 의 로그오즈, 즉 (\text{logit}(\alpha)=\log\frac{\alpha}{1-\alpha}) 가 스텝 사이즈 ( s ) 의 로그, (\log s) 와 거의 완벽한 선형 관계를 가진다는 경험적 사실을 발견하였다. 이 관계는 이론적으로도 정규분포 제안에서 제안 분포의 스케일이 변하면 제안점과 현재점 사이의 거리 분포가 스케일에 비례하고, 수용 확률은 거리의 함수이므로 로그오즈가 로그 스텝에 선형적으로 반응한다는 점에서 설명될 수 있다. 특히 기울기 계수는 제안 분포의 형태에 따라 미리 계산 가능하며, 일반적인 대칭 제안(정규, 라플라스 등)에서는 (-2) 혹은 (-1) 정도의 값이 관측된다.

이 선형성을 이용해 저자들은 간단한 피드백 제어 루프를 설계한다. 초기 스텝 사이즈를 임의로 설정한 뒤, 일정 횟수의 메트로포리스 제안을 수행하고 실제 수용 확률을 측정한다. 목표 수용 확률(보통 0.23~0.44 사이)과 현재 수용 확률의 차이를 로그오즈 차이로 변환하고, 알려진 기울기 (k) 로 나누어 로그 스텝 사이즈를 조정한다: (\log s_{\text{new}} = \log s_{\text{old}} + \frac{1}{k}\bigl