다중레벨 MCMC 적응형 확률적 경사법 수렴 연구

초록

본 논문은 마코프 체인 몬테카를로(MCMC) 기반 그래디언트 추정의 편향을 다중레벨(Multi‑Level) 기법으로 감소시키면서, 계산 비용은 로그 수준으로 유지하는 새로운 적응형 확률적 경사법 프레임워크를 제안한다. 이를 바탕으로 다중레벨 Adagrad와 AMSGrad 변형을 개발하고, 편향·2차·3차 모멘트 조건 하에 $O(n^{-1/2})$ 수렴률(로그 항 포함)을 이론적으로 증명한다. 마지막으로 CIFAR‑10 데이터셋의 Importance‑Weighted Autoencoder에 적용해 실험적 효율성을 확인한다.

상세 분석

본 연구는 확률적 최적화에서 MCMC 기반 그래디언트 추정이 갖는 근본적인 편향 문제를 다중레벨 몬테카를로(MLMC) 기법으로 해결하려는 시도이다. 기존 방법은 편향을 $O(T^{-1})$ 로 감소시키기 위해 매 반복마다 $T\sim n^{1/2}$ 길이의 체인을 실행해야 하며, 이는 전체 복잡도가 $O(n^{3/2}d)$ 로 비효율적이었다. 저자들은 $T_n$ 를 최대 절단 수준으로 두고, 기하분포 $G(1/2)$ 로 샘플링된 레벨 $K_n$ 를 이용해 \