정규화된 Stein 변분 경사 하강법의 유한 입자 수렴률

초록

본 논문은 최근 제안된 정규화 Stein 변분 경사 하강법(R‑SVGD)의 유한 입자 시스템에 대해 연속·이산 시간 모두에서 비점근적 수렴 경계를 제공한다. 시간 평균(annealed) 경험적 측정에 대해 실제 Fisher 정보와, 목표 분포가 W₁I 조건을 만족할 경우 W₁ 거리까지 수렴함을 보이며, 정규화 파라미터 ν, 스텝 사이즈 h, 평균화 구간 T 의 조합을 통해 편향과 분산 사이의 최적 트레이드오프를 정량화한다.

상세 분석

이 연구는 Stein 변분 경사 하강법(SVGD)이 커널화된 Wasserstein gradient flow를 근사하면서 발생하는 상수 차 편향을 해소하기 위해 도입된 정규화 SVGD(R‑SVGD)의 유한 입자 동역학을 엄밀히 분석한다. 핵심 아이디어는 (1‑ν) Tₖ,ρ + ν I 연산자의 역을 적용해 커널 연산자 Tₖ,ρ 의 비가역성을 보정하는 resolvent‑type 전처리(preconditioner)를 도입하는 것이다. ν → 0이면 전처리 연산자가 I에 가까워져 진정한 Wasserstein gradient flow에 수렴하고, ν → 1이면 전처리 효과가 사라져 기존 SVGD와 동일해진다.

연속 시간에서는 N 입자 경험적 측정 μᴺₜ에 대해 시간 평균 μᴺ_{av}