마코프 체인 평균의 중심극한정리와 무거운 꼬리 분포 샘플링 알고리즘 비교

초록

본 논문은 일반 상태공간 마코프 체인에 대한 에르고딕 평균의 중심극한정리(CLT)를 성립시키는 필요조건을 L‑드리프트 조건을 이용해 제시한다. 이를 바탕으로 무거운 꼬리(target) 분포를 목표로 하는 다양한 MCMC 알고리즘—유한·무한 분산 제안의 랜덤워크 메트로폴리스(RWM), 메트로폴리스‑조정 라플라시안(MALA), 비조정 라플라시안(ULA), 입체 투영 샘플러(SPS) 및 독립 샘플러(IS)—의 CLT 유효성 및 수렴 속도를 정확히 규정하고, 알고리즘 선택에 대한 실용적 지침을 제공한다.

상세 분석

논문은 먼저 기존의 충분조건 중심의 CLT 연구와 달리, “L‑drift” 조건 L(V, φ, Ψ) 를 도입해 마코프 체인의 전이 커널 P가 Lyapunov 함수 V와 그 역함수 1/V, 그리고 확장 함수 Ψ에 대해
P(1/V) − φ(1/V) ≤ 1/V, P(Ψ∘V) ≥ Ψ∘V
를 만족하는 경우를 고려한다. 이 불평등은 체인이 큰 상태 영역을 탈출하거나 머무는 시간의 상한·하한을 제공하며, Nummelin 분할 기법을 통해 “excursion”의 모듈화된 모멘트와 반환 시간의 꼬리 분포를 정량화한다. 핵심 정리 2.1은 이러한 L‑drift 조건이 충족될 때, L²(π) 함수 g가 충분히 빠르게 성장하면 ergodic 평균의 asymptotic variance가 무한해져 CLT가 실패함을 보인다. 이어서 정리 2.2‑2.4는 반환 시간 꼬리, 불변 측도 π의 꼬리, 그리고 total variation·Wasserstein 수렴 속도에 대한 하한을 제공한다.

이론적 토대를 바탕으로 저자들은 무거운 꼬리 목표분포 π(x) ∝ |x|^{-(v+d)} (v>0) 에 대해 여러 알고리즘을 분석한다.

1. 유한 분산 RWM (fv‑RWM): φ가 |x|^{-β} 형태로 나타나 β = v/2 이상이면 CLT가 유지되지만, v ≤ 2인 경우는 실패한다.
2. 무한 분산 RWM (iv‑RWM): 제안 분포가 α‑stable(α∈(0,2))이면 φ ≈ |x|^{-η} (η=α) 로, v>η일 때만 CLT가 성립한다.
3. MALA와 ULA: drift가 gradient log π에 비례하므로 φ ≈ |x|^{-v}·2가 되며, v>2이면 CLT가 보장되고, 수렴 속도는 Wasserstein‑p 거리에서 n^{-β} (β=v/(v+2)) 로 다항식이다.
4. SPS: 입체 투영 변환을 이용해 상태공간을 컴팩트하게 매핑, φ ≈ |x|^{-d} 로, v>d/2이면 CLT가 성립하고, v≤d/2이면 실패한다.
5. IS: 제안 분포가 꼬리 지수 k를 갖는 경우, v>k/2이면 CLT가 유지된다.

특히, 저자들은 “single‑jump” vs “many‑jump” 현상을 정의해, RWM은 다중 점프를 통해 꼬리 탐색이 느리지만, iv‑RWM은 한 번의 큰 점프로 빠르게 탐색한다는 점을 이론적으로 설명한다. 또한, ULA의 경우 스텝 크기 h가 충분히 작을 때 불변 측도 π_h의 꼬리 지수가 원본 π와 동일함을 증명해, h→0 한계에서도 bias가 사라지지 않는 무한 분산 인크리먼트 알고리즘과는 대조된다.

결과적으로, 표 1에 요약된 바와 같이, 무거운 꼬리 분포에 대해 가장 효율적인 선택은 v>d인 경우 SPS, v≈d인 경우 iv‑RWM(α가 작을수록), v≫2인 경우 ULA/MALA이며, 독립 샘플러는 제안 꼬리 지수 k가 목표 지수 v보다 크게 설정될 때만 실용적이다.