SMC 샘플러를 위한 단계별 KL 최소화 적응 기법

초록

본 논문은 순차적 몬테카를로(SMC) 샘플러에서 비조정 마코프 커널의 스텝 사이즈를 그레디하게 최소화하는 새로운 적응 프레임워크를 제안한다. 제안 방법은 각 단계에서 증분 Kullback‑Leibler(KL) 발산을 최소화함으로써, 별도의 그라디언트 계산이나 하이퍼파라미터 튜닝 없이도 최적의 스텝 사이즈 스케줄을 얻는다. Langevin Monte Carlo와 kinetic LMC에 적용한 실험 결과, 기존 SGD 기반 튜닝보다 적은 비용으로 변동성을 크게 감소시켰다.

상세 분석

이 논문은 SMC 샘플러의 핵심 구성 요소인 전진 마코프 커널 K_t 를 어떻게 효율적으로 조정할 것인가에 초점을 맞춘다. 기존에는 조정된(Metropolis‑Hastings 기반) 커널에 대해 수용률이나 ESJD와 같은 경험적 지표를 사용했지만, 비조정 커널—특히 Langevin 계열—에 대해서는 이러한 지표가 적용되지 않는다. 따라서 저자들은 경로 전체에 대한 KL 발산을 체인 룰 형태로 분해하고, 각 단계별 증분 KL을 최소화하는 그레디한 최적화 문제를 정의한다. 핵심은 D_path(P,Q)=D_KL(Q_0,P_0)+∑t E{P_{0:t-1}}