확산 경로 순차 몬테카를로 샘플러

초록

본 논문은 정규화 상수가 알려지지 않은 목표 분포를 샘플링하기 위해, 확산 경로를 따라 진행되는 확산‑annealed Langevin Dynamics(DALD)를 구현하고, 시간‑변화 스코어를 효율적으로 추정하기 위해 순차 몬테카를로(SMC) 기반 보조 변수 샘플러를 제안한다. 또한 스코어 추정의 분산을 최소화하는 새로운 제어변수 행렬 스케줄을 도입하고, 이론적 수렴 보장과 실험을 통해 방법의 유효성을 입증한다.

상세 분석

이 논문은 기존의 기하학적 경로가 야기하는 다중극점 문제를 피하고, 확산 모델에서 영감을 얻은 확산 경로를 샘플링에 활용한다는 점에서 혁신적이다. 확산 경로 µ_t는 베이스 가우시안 ν와 목표 분포 π 사이를 선형적으로 보간하는 형태(식 1·2)로 정의되며, λ_t 스케줄에 따라 시간 t에 따라 점점 목표에 가까워진다. 이러한 경로는 함수적 부등식이 균일하게 제한되고, 액션이 유한하다는 특성을 가져와 고차원에서의 안정성을 보장한다.

샘플링 메커니즘은 확산‑annealed Langevin Dynamics(DALD) 식 (4)를 기반으로 하며, 여기서 핵심은 시간‑변화 스코어 ∇log µ_t를 정확히 추정하는 것이다. 저자들은 스코어를 두 가지 알려진 형태, 즉 Denoising Score Identity(DSI)와 Target Score Identity(TSI)로 표현하고(식 5), 이를 Monte Carlo 방식으로 근사한다. 그러나 직접적인 MCMC는 매 시간 단계마다 평형을 맞춰야 하는 병목이 존재한다. 이를 해결하기 위해 논문은 보조 변수 Y의 사후분포 ϱ_{t,x}를 목표로 하는 순차 몬테카를로(SMC) 샘플러를 설계한다. SMC는 전진 커널 K_k와 역전 커널 L_{k-1}을 정의하고, 중요도 가중치 G_k(·)를 통해 경로 공간에서의 비정규화된 밀도 ˜ρ_{0:k}를 추정한다(식 9).

Proposition 1은 Feynman‑Kac 정리를 이용해 스코어를 “경로 상의 가중치 곱의 비율” 형태로 표현한다. 즉, ∇log µ_{t_k}(x_k)=E