공분산 하한 없이 적응 메트로폴리스 알고리즘이 붕괴할 수 있는가

초록

본 논문은 Adaptive Metropolis(AM) 알고리즘에서 제안 분포의 공분산 행렬에 작은 정규화 항 εI를 추가하는 전통적 방법 대신, ε를 없애거나 매우 작게 설정한 변형을 연구한다. 샘플 공분산 Sₙ의 고유값이 시간에 따라 0으로 수렴(붕괴)하는지를 이론적·실험적으로 분석하고, 일반적인 상황에서는 고유값이 0에 수렴하지 않으며 알고리즘의 안정성이 유지된다는 결론을 제시한다.

상세 분석

Adaptive Metropolis(AM) 알고리즘은 기존 대칭 랜덤워크 Metropolis의 제안 분포를 현재까지의 샘플 공분산 Cov(X₁,…,Xₙ) 에 작은 정규화 항 εI를 더한 형태 Sₙ 으로 정의한다. 이 εI 는 고유값이 0이 되는 것을 방지해 이론적 수렴 증명을 용이하게 하지만, 실제 구현에서는 ε의 적절한 선택이 어려워 효율성을 저해한다는 점이 문제 제기된다. 논문은 ε를 명시적으로 포함하지 않거나, 매우 작은 값으로 두는 두 가지 변형을 제안한다. 핵심 질문은 “Sₙ의 최소 고유값이 시간에 따라 0으로 수렴할 위험이 있는가?”이다. 이를 위해 저자는 먼저 Sₙ의 업데이트 식을 행렬 형태로 재작성하고, 강건한 확률적 하한을 제공하는 마르코프 연쇄 이론을 적용한다. 특히, 샘플 경로가 충분히 탐색적(ergodic)이고 목표 분포가 연속적이며 유한한 2차 모멘트를 갖는 경우, Sₙ은 점점 더 정확한 공분산 추정치에 수렴한다는 점을 보인다. 이때 고유값이 0에 접근하려면 샘플이 특정 저차원 하위공간에 영구적으로 머물러야 하는데, 이는 목표 분포가 그 하위공간에 전적으로 집중된 경우에만 가능하다. 일반적인 다변량 정규분포나 복합적인 베이지안 모델에서는 이러한 상황이 거의 발생하지 않는다. 실험적으로는 2차원 가우시안, 10차원 혼합 가우시안, 그리고 실제 베이지안 회귀 모델을 대상으로 ε=0, ε=10⁻⁶, ε=10⁻³ 등 다양한 설정을 비교하였다. 결과는 ε가 없어도 체인 평균 수용률, 자기상관 시간, 그리고 추정된 공분산의 스펙트럼이 안정적으로 유지됨을 보여준다. 특히 최소 고유값은 초기 단계에서 일시적으로 감소할 수 있으나, 이후에는 목표 분포의 구조에 의해 자연스럽게 바닥값을 형성한다. 따라서 εI가 제공하는 인위적 하한은 이론적 편의를 위한 것이며, 실제 알고리즘 성능에는 크게 기여하지 않는다.