적응형 마코프 체인 몬테카를로를 위한 커널 기반 장기 분산 추정기

초록

본 논문은 적응형 마코프 체인(MCMC)에서 장기 분산(비대칭 분산)의 커널 추정기의 수렴 특성을 $L^{p}$와 거의 확실히(Almost Sure) 두 관점에서 분석한다. 기존 연구보다 약한 조건만을 가정하며, 결과는 일반 마코프 체인에도 적용된다. GARCH(1,1) 모델과 베이지안 로지스틱 회귀를 위한 적응형 MCMC 알고리즘에 구체적으로 적용해 실용성을 입증한다.

상세 분석

이 연구는 적응형 마코프 체인(Adaptive Markov Chain, AMC)이라는 동적 전이 확률을 갖는 샘플링 과정에서, 함수 $f$에 대한 평균값 추정치의 변동성을 평가하기 위한 장기 분산(Asymptotic Variance, AV)의 커널 추정기 $\hat\sigma_{n}^{2}$의 수학적 거동을 정밀히 규명한다. 기존 문헌에서는 주로 고정된 마코프 체인에 대해 강한 마코프성, 기하급수적 수렴 속도, 그리고 $\beta$-mixing 같은 엄격한 의존성 가정을 필요로 했다. 반면 본 논문은 적응형 체인의 전이 커널 $P_{\theta_{n}}$가 매 단계마다 파라미터 $\theta_{n}$에 의해 변하지만, $\theta_{n}$이 충분히 느리게 변하고, 전체 체인이 “diminishing adaptation”과 “containment” 조건을 만족한다면, $L^{p}$ 수렴($p>2$)과 거의 확실히 수렴을 동시에 확보할 수 있음을 보인다.

핵심 정리는 두 부분으로 나뉜다. 첫 번째는 편향(bias) 항을 제어하는 데 필요한 “ergodicity uniformity” 조건이다. 이는 모든 가능한 파라미터 $\theta$에 대해 동일한 리게르드 집합과 동일한 수렴 속도 상수를 존재하게 함으로써, 적응 과정 중에도 전이 커널이 충분히 혼합(mixing)된다는 것을 보장한다. 두 번째는 커널 함수 $K$와 대역폭 $b_{n}$ 선택에 관한 조건이다. 저자들은 $K$가 유한 지원을 갖고, 연속이며, $\int K(u)du=1$, $\int uK(u)du=0$, $\int u^{2}K(u)du<\infty$인 경우를 가정한다. 대역폭은 $b_{n}\to0$, $nb_{n}\to\infty$를 만족하면 충분히 빠른 수렴을 얻는다. 이러한 설정 하에, $\hat\sigma_{n}^{2}$는 $L^{p}$ 의미에서 실제 장기 분산 $\sigma^{2}$에 수렴하고, 또한 $\sum_{n=1}^{\infty}P(|\hat\sigma_{n}^{2}-\sigma^{2}|>\varepsilon)<\infty$가 성립해 거의 확실히 수렴한다는 강력한 결과를 얻는다.

수학적 증명은 크게 두 단계로 전개된다. (1) 적응형 체인의 평균 제곱 적분(MSE) 추정량에 대한 중심극한정리(CLT)를 확장한 “functional CLT”를 이용해, 관측값 $f(X_{i})$의 자기상관 구조가 대역폭에 의해 적절히 가중된 합으로 근사될 수 있음을 보인다. (2) 커널 추정기의 편차를 두 부분으로 분해한다. 첫 번째는 “bias term”으로, 이는 $b_{n}^{2}$ 차수의 오차이며, $b_{n}\to0$이므로 사라진다. 두 번째는 “variance term”으로, 마코프 체인의 자기상관 함수 $\gamma(k)$의 급격히 감소하는 성질에 의해 제어된다. 특히, 적응형 체인에서도 $\sup_{\theta}\sum_{k\ge0}|\gamma_{\theta}(k)|<\infty$가 유지되면, variance term은 $O_{p}((nb_{n})^{-1/2})$ 수준으로 수렴한다.

이론적 결과를 검증하기 위해 저자들은 두 가지 실험을 수행한다. 첫 번째는 GARCH(1,1) 모델에 대한 비선형 시계열을 마코프 체인 형태로 구현하고, 적응형 메트로폴리스-헤이스팅스 알고리즘을 적용한다. 여기서 제시된 커널 추정기는 실제 장기 분산과 매우 근접한 값을 제공하며, 대역폭 선택에 따른 수렴 속도도 이론과 일치한다. 두 번째는 베이지안 로지스틱 회귀 모델에 대한 적응형 랜덤 워크 메트로폴리스(RWM) 알고리즘을 사용한다. 이 경우, 파라미터 공간이 고차원임에도 불구하고, 제안된 커널 추정기는 안정적인 분산 추정치를 제공하고, 사후 평균 추정의 신뢰구간을 정확히 구성한다는 점을 보여준다.

결과적으로, 본 논문은 적응형 MCMC에서 장기 분산을 추정하는 실용적인 도구를 제공함과 동시에, 기존 문헌보다 약한 가정(특히, 마코프 체인의 균일한 기하 급수적 수렴 가정)을 통해 이론적 근거를 강화한다. 이는 복잡한 베이지안 모델이나 시계열 모델에서 적응형 샘플링을 사용할 때, 추정량의 불확실성을 정량화하는 데 큰 도움이 된다.