워터슈타인 경사 하강법을 이용한 샘플링 수렴 이론

초록

본 논문은 KL 발산을 워터슈타인 공간에서 최적화하는 프레임워크를 제안하고, (α,β)-정규와 (c₁,c₂)-정규 두 종류의 확률 측정 하위공간에서 워터슈타인 경사 하강법(WGD)의 수렴을 이론적으로 보장한다. 또한 점 기반 구현과 점수 매칭을 통한 스코어 추정 방법을 제시하고, 다중 모드·고차원 베이지안 문제에서 기존 MCMC와 변분 베이즈보다 우수한 성능을 실험적으로 확인한다.

상세 분석

이 논문은 베이지안 추론을 “KL 발산 최소화”라는 최적화 문제로 재구성하고, 이를 2‑워터슈타인 거리(W₂) 위에서의 기하학적 경사 하강법(WGD)으로 풀고자 한다. 기존 연구는 KL의 두 구성요소(잠재 에너지와 엔트로피) 중 엔트로피가 비매끄러워 역전파가 어려워 전방‑후방 알고리즘을 제안했지만, 실제 구현이 복잡하고 가우시안에 한정되는 한계가 있었다. 저자는 이러한 제약을 넘어, 두 가지 정규 측정 클래스에서 WGD 자체가 수렴함을 증명한다.

첫 번째 클래스인 (α,β)-정규 측정은 밀도가 무한히 미분 가능하고, 로그밀도 f(x)=−log μ(x)가 α‑강볼록(α‑convex) 및 β‑리프시츠(β‑smooth) 조건을 만족한다는 가정이다. 이 경우 f의 헤시안이 αI≼∇²f≼βI 로 제한되며, 이는 기존 라그랑지안 라우스-다라난(다라난) 분석과 유사하게 KL 함수가 β‑스무스한 형태를 갖게 함을 의미한다. 논문은 Proposition 1을 통해 WGD 한 스텝이 KL 값을 감소시키는 불등식 F(ν)−F(μ)≤−ε(1−3β ε/2)‖∇_μF‖²_μ+O(ε²)를 도출하고, ε를 충분히 작게 잡으면 감소가 보장된다. 고정 스텝에서는 선형 수렴이 불가능하므로, ε_k가 감소하는 스케줄(∑ε_k=∞, ∑ε_k²<∞)을 사용해 서브선형 수렴을 증명한다(Theorem 1).

두 번째 클래스인 (c₁,c₂)-정규 측정은 로그밀도의 그라디언트가 선형 성장 제한 ‖∇f(x)‖≤c₁‖x‖+c₂ 를 만족한다. 이 조건은 엔트로피 함수가 워터슈타인 거리에서 Lipschitz 연속임을 보장하고(Theorem 3), 따라서 KL 자체가 “geodesically convex + Lipschitz”가 된다. Proposition 3은 작은 스텝 크기 η<2F(μ)/L² (L은 KL과 잠재 에너지 V의 Lipschitz 상수)일 때 W₂ 거리 감소를 보장한다. 이를 바탕으로 Algorithm 3과 Theorem 4에서 평균화된 iterate가 최적해에 수렴함을 보여준다.

실제 구현에서는 점수 매칭(Hyvärinen, 2005)을 이용해 μ_t의 스코어 ∇log μ_t를 추정하고, 이를 WGD 업데이트에 삽입한다. 추정 오차 ξ에 대해 bounded norm, 올바른 방향성, Lipschitz 연속성을 가정하면(Assumption 1) 수렴 보장이 유지된다(Proposition 2, Theorem 2). 또한 확률적 추정에 대한 무편향성 및 유한 분산 가정(Assumption 2) 하에 평균화된 iterate의 기대 KL이 동일한 서브선형 수렴률을 갖는 것을 증명한다(Theorem 5).

실험에서는 베이지안 로지스틱 회귀, “banana”형 비표준 분포, 다중 가우시안 혼합 등 고차원·다중모드 타깃을 대상으로 표준 MCMC, 변분 베이즈, 그리고 제안된 WGD를 비교한다. 특히 annealing 스케줄을 도입해 초기 단계에서 큰 스코어를 완화하고, 점진적으로 목표 분포로 전이시킨다. 결과는 WGD가 높은 차원에서도 빠른 수렴과 낮은 자기상관을 보이며, MCMC가 겪는 혼합 모드 탐색 실패를 극복함을 보여준다.

전체적으로 이 논문은 워터슈타인 공간에서의 비매끄러운 엔트로피 문제를 두 가지 정규 측정 하위공간으로 제한함으로써, 순수 WGD가 이론적·실험적으로 타당함을 입증한다. 이는 기존의 전방‑후방 복합 알고리즘보다 구현이 간단하고, 점 기반 샘플링 프레임워크와 결합했을 때 확장성이 뛰어나며, 고차원·다중모드 베이지안 문제에 새로운 해법을 제시한다.