Bures‑Wasserstein 기반 IW‑ELBO 최적화와 안정적 그래디언트

초록

본 논문은 Importance‑Weighted ELBO(IW‑ELBO)를 Bures‑Wasserstein 공간에서 최적화하는 방법을 제시한다. 2‑Wasserstein 거리로 정의된 Gaussian 분포의 매니폴드 위에서 IW‑ELBO의 Wasserstein 그래디언트를 유도하고, 이를 Bures‑Wasserstein 공간에 투사해 계산 가능한 형태로 만든다. 중요한 이론적 기여는 그래디언트 추정기의 신호‑대‑노이즈 비(SNR)가 중요 샘플 수 K에 대해 Ω(√K)로 성장한다는 증명이며, 이는 기존 Euclidean 그래디언트가 K가 커질수록 SNR이 소멸하는 문제를 극복한다. 또한 Variational Rényi IW‑AE bound에도 동일한 안정성을 확장한다. 실험을 통해 제안 방법이 기존 베이스라인보다 더 정확한 후방 근사와 빠른 수렴을 보임을 확인한다.

상세 분석

이 논문은 두 가지 주요 흐름을 융합한다. 첫째, Variational Inference(VI)에서 ELBO를 강화하는 Importance‑Weighted ELBO(IW‑ELBO)의 통계적 특성을 재조명하고, 둘째, Wasserstein Gradient Flow(WGF)의 기하학적 프레임워크를 Gaussian VI에 적용한다. 저자들은 먼저 일반적인 VI 설정에서 목표 함수가 확률분포 위의 함수임을 강조하고, Euclidean 파라미터 공간에서의 단순 경사하강이 “목표‑메커니즘 불일치”를 야기한다는 점을 지적한다. 이를 해결하기 위해 2‑Wasserstein 거리로 구성된 Bures‑Wasserstein(BW) 공간을 도입한다. BW 공간은 비퇴화 Gaussian 분포들의 Riemannian 부분다양체이며, 평균과 공분산을 동시에 다루는 닫힌 형태의 흐름 방정식을 제공한다.

논문은 IW‑ELBO의 첫 변분을 이용해 일반적인 Wasserstein 그래디언트 ∇_W F(μ) = ∇_x δF/δμ(x)를 도출한다. 여기서 δF/δμ는 IW‑ELBO의 첫 변분이며, 이는 로그 중요 가중치의 평균에 대한 기대값 형태로 표현된다. 그러나 이 그래디언트는 일반적인 확률분포에 대해 계산이 비현실적이다. 따라서 저자들은 이를 BW 공간에 투사해 Bures‑Wasserstein 그래디언트로 변환한다. 투사 과정은 Riemannian 서브머니폴드의 정규 직교성을 이용해 평균에 대한 벡터 a와 공분산에 대한 대칭 행렬 S를 얻는 것으로, 구체적인 식은
a = Σ E_q