“방사형 전송을 이용한 변분 추론 (radVI): 고차원 사후분포의 반경 프로파일을 최적화한다”

📝 Abstract

In variational inference (VI), the practitioner approximates a high-dimensional distribution $π$ with a simple surrogate one, often a (product) Gaussian distribution. However, in many cases of practical interest, Gaussian distributions might not capture the correct radial profile of $π $, resulting in poor coverage. In this work, we approach the VI problem from the perspective of optimizing over these radial profiles. Our algorithm radVI is a cheap, effective add-on to many existing VI schemes, such as Gaussian (mean-field) VI and Laplace approximation. We provide theoretical convergence guarantees for our algorithm, owing to recent developments in optimization over the Wasserstein space–the space of probability distributions endowed with the Wasserstein distance–and new regularity properties of radial transport maps in the style of Caffarelli (2000).

💡 Analysis

**

1. 연구 배경 및 동기

• 전통적 VI의 한계: 가우시안(전역·대각) 혹은 라플라스 근사는 평균·공분산 정도만 맞추고, 반경(거리) 분포는 고정된 형태(예: exp(−r²/2))에 머문다. 이는 특히 다중모드·비대칭·두꺼운 꼬리를 가진 사후분포에서 심각한 오차를 만든다.
• 방사형 대칭성: π가 중심화(whitening)된 뒤에도 반경 함수 h(r) 만으로 다양한 분포(가우시안, Student‑t, 라플라스, 로지스틱 등)를 표현할 수 있다는 점을 이용한다. 이는 “분포의 방사형 프로파일을 직접 학습한다”는 새로운 설계 철학이다.

2. 핵심 이론적 기여

3. 알고리즘 설계 (radVI)

1. 표준화: 사후분포 π 를 평균 0, 공분산 I 로 whitening → ρ = N(0, I).
2. 전송 지도 파라미터화: T_λ(x) = Ψ_λ(‖x‖)·x/‖x‖, 여기서 Ψ_λ는 조각선형 단조 함수의 선형 결합 (λ ≥ 0).
3. 목표 함수: KL( T_λ♯ρ ‖ π ) 를 λ 에 대한 제한된 비음수 구역에서 최소화.
4. 그라디언트 계산: KL 의 미분을 ρ‑기대값 형태로 표현 → 샘플링 기반 Monte‑Carlo 추정 가능.
5. 프로젝션 경사하강: λ 를 비음수 영역에 투사하면서 가중 Euclidean 거리 (Q‑행렬) 로 측정된 단계 크기로 업데이트.
6. 정규화: 최종 전송 지도 T_λ 를 이용해 방사형 근사분포를 샘플링하고, 필요 시 기존 VI 결과(평균·공분산)와 결합해 전반적인 사후 근사를 개선.

4. 실험 및 실용적 효과

• Synthetic isotropic/anisotropic: radVI 가 원래 가우시안 VI 의 반경을 정확히 복원하고, 꼬리 두께를 맞춤.
• Preconditioner 역할: 라플라스 근사·전통 가우시안 VI 위에 radVI 를 적용하면 2차 모멘트와 확률 임계값 추정이 크게 개선.
• Neal’s funnel: 고차원에서 심하게 비대칭인 사후분포에 대해, radVI 가 전체 분포 형태를 포착하면서도 계산 비용은 기존 VI 와 거의 동일.

5. 강점

• 이론‑실험 일관성: 정규성·수축 정리와 차원‑프리 수렴 보장이 실제 실험에서도 확인됨.
• 범용 플러그‑인: 기존 VI 파이프라인에 최소한의 코드만 추가하면 사용 가능 → 산업·연구 현장에 빠른 적용 가능.
• 정규성 가정의 현실성: 로그‑스무스·강한 로그‑컨케이브 가정은 많은 베이지안 모델(예: GLM, 베이시안 신경망)에서 자연스럽게 만족.

6. 제한점 및 향후 과제

7. 문헌과의 위치

• 기존 가우시안 VI (Barber & Bishop 1997; Opper & Archambeau 2009) → radVI 가 반경을 보완하는 형태.
• Wasserstein gradient flow 기반 VI (Lambert et al. 2022; Diao et al. 2023) → radVI 가 방사형 전송이라는 특수한 Wasserstein geodesic을 활용, 이론적 연결 고리 강화.
• Caffarelli 수축 정리 → 최적 전송 지도에 대한 강력한 정규성 보장을 제공, 이는 기존 VI 이론에 거의 도입되지 않은 새로운 도구.

**

📄 Content

**변분 추론(VI)**은 확률분포의 부분집합 위에서 이루어지는 기본적인 최적화 문제이다 (Wainwright와 Jordan, 2008; Blei 외, 2017). 여기서는 많은 응용 분야에서 나타나는 표준 설정을 고려한다. 실무자는 고차원 사후분포

[ \pi \propto \exp(-V) ]

가 주어지고, 목표는 고정된 확률분포 집합 (C \subset \mathcal P(\mathbb R^{d})) 위에서

[ \min_{\mu\in C}\operatorname{KL}(\mu\Vert\pi) ]

를 푸는 것이다. VI는 정규화되지 않은 사후분포 (\pi) 로부터 샘플링하기 위한 전통적인 마코프 연쇄 몬테 카를로(MCMC) 방법을 대체하는 강력한 계산적 도구이다. 실제로 MCMC는 매우 긴 마코프 연쇄를 시뮬레이션해야 하는 반면, 실용적인 목적을 위해 사후분포를 충분히 잘 근사하는 대리밀도(surrogate density)를 빠르게 학습하는 것이 가능할 수도 있다; 자세한 내용은 Blei 외(2017)의 리뷰를 참고한다.

VI에서 (C\subset\mathcal P(\mathbb R^{d})) 의 선택은 가장 중요한 요소이다. 예를 들어, (C) 가 양정규공분산을 갖는 모든 가우시안 분포의 집합인 경우를 가우시안 VI라고 부른다 (Barber와 Bishop, 1997; Seeger, 1999; Opper와 Archambeau, 2009). 대규모 머신러닝 응용에서는 대각 공분산을 갖는 가우시안(즉, 평균‑필드 가우시안 VI) 위에서 최적화하는 경우가 흔하다. 이러한 알고리즘은 오래전부터 연구되어 왔지만, 워터스테인 거리 흐름(Wasserstein gradient flows) 을 통한 최적 수송 이론에 기반한 엄밀한 이론적 분석은 최근에야 등장하고 있다 (Ambrosio 외, 2008). 예를 들어, 가우시안 경우는 Lambert 외(2022); Diao 외(2023); Kim 외(2024) 등에 의해 연구되었다. Lambert 외(2022); Petit‑Talamon 외(2025)에서 제시한 바와 같이 가우시안 혼합을 이용한 알고리즘을 구현할 수 있지만, 이 경우의 수학적 분석은 훨씬 더 까다롭다. 별도로, 라플라스 근사(Laplace approximation) 는 (\pi) 의 대리측정치를 얻는 또 다른 방법으로,

[ \mathcal N\bigl(x^{\star},;(\nabla^{2}V(x^{\star}))^{-1}\bigr),\qquad x^{\star}=\arg\min V ]

와 같은 가우시안 근사를 고려한다. 라플라스 근사에 관한 문헌은 방대하며 (Robert와 Casella, 2004)를 참고한다. Margossian과 Saul(2025)은 기존 VI 기반 알고리즘의 장단점을 강조하면서, VI가 목표분포 (\pi) 의 평균과 공분산 행렬을 정확히 복원할 수 있는 조건을 제시한다. 이들은 특히 변분 근사 가족을 사전에 결정해야 한다는 점을 지적하며, 이는 작은 규모의 예시에서도 눈에 띄는 한계를 초래한다.

이러한 근사의 문제점을 완화하기 위해, 우리는 방사형(radial) 프로파일 위에서 VI 문제를 연구한다.

1. 방사형 변분 가족

고정된 (\mathbf m\in\mathbb R^{d}) 와 양정정규행렬 (\Sigma\succ0) 에 대해 다음과 같은 변분 가족을 고려한다.

[ \mu_{h}(\mathrm d x)=\frac{1}{Z_{h}}, h!\bigl(|x-\mathbf m|{\Sigma^{-1}}^{2}\bigr), \exp!\Bigl(-\frac{|x-\mathbf m|{\Sigma^{-1}}^{2}}{2}\Bigr),\mathrm d x, \qquad h:[0,\infty)\to[0,\infty) ]

여기서 (h) 는 ([0,\infty)) 위의 비음함수이며, (|y|_{\Sigma^{-1}}^{2}=y^{\top}\Sigma^{-1}y) 로 정의한다. (\mathbf m) 와 (\Sigma) 가 알려져 있거나 추정 가능하다면, 화이트닝 절차(섹션 4.5) 를 통해 (\mathbf m=0,;\Sigma=I) 로 가정할 수 있다. 따라서 이후 논의에서는 방사형 대칭 분포 집합

[ \mathcal C_{\text{rad}}:={\mu_{h}\mid h\ge0} ]

을 사용한다. 이 가족은 (h(y)=\exp(-y/2)) 일 때 표준 가우시안, Student‑t, 비부드러운 라플라스 분포, 로지스틱 분포 등 다양한 분포를 포함한다.

2. 연구 목표 및 주요 기여

본 논문에서는

[ \pi^{\star}{\text{rad}}:=\arg\min{\mu\in\mathcal C_{\text{rad}}} \operatorname{KL}(\mu\Vert\pi),\qquad \pi\propto\exp(-V) ]

를 찾는 실행 가능한 알고리즘을 제안하고 이론적·계산적 특성을 분석한다. 우리의 가정은 전적으로 진짜 사후분포 (\pi) 에만 적용되며, 구체적으로

• (\pi) 가 로그‑스무스(log‑smooth) 하고
• (\pi) 가 강하게 로그‑볼록(strongly log‑concave) 하며
• (\pi) 가 원점에 중심(centered)한다

는 것이다. 이러한 가정은 샘플링 이론 (Chewi, 2026) 및 변분 추론 이론 (Lambert 외, 2022; Arnese와 Lacker, 2024; Lacker 외, 2024; Lavenant와 Zanella, 2024; Jiang 외, 2025) 에서 거의 보편적으로 사용된다.

3. 방사형 최소화자의 존재·유일성 및 정규성

• 정리 3.4: (\pi) 가 로그‑스무스·강하게 로그‑볼록이면, 방사형 최소화자 (\pi^{\star}_{\text{rad}}) 도 동일한 성질을 가진다.

• 정리 3.5: 표준 가우시안 (\rho=\mathcal N(0,I)) 로부터 (\pi^{\star}{\text{rad}}) 로의 최적 방사형 수송 지도 (T^{\star}{\text{rad}}) 에 대해 Caffarelli‑type 수축 추정치를 제공한다. 구체적으로

  [ \Psi^{\star}(r)\le \frac{L_{V}}{\ell_{V}},r,\qquad \bigl|\Psi^{\star\prime\prime}(r)\bigr|\le C,\frac{L_{V}^{2}}{\ell_{V}^{2}}, \frac{1}{\sqrt d} \quad (r\approx\sqrt d) ]

  와 같은 경계가 성립한다. 여기서 (\kappa:=L_{V}/\ell_{V}) 로 정의한다.

4. radVI 알고리즘

4.1 파라미터화와 최적화

방사형 수송 지도는

[ T_{\lambda}(x)=\Psi_{\lambda}(|x|),\frac{x}{|x|},\qquad \Psi_{\lambda}(r)=\sum_{j=0}^{J}\lambda_{j},\Psi_{j}(r), ]

와 같이 기저 함수 ({\Psi_{j}}{j=0}^{J}) 와 비음 파라미터 (\lambda\in\mathbb R^{J+1}{+}) 로 파라미터화한다. 기저 함수는 구간 ([0,R]) 에서 등간격 조각선형(monotone piecewise‑linear) 형태를 갖으며, (R) 은 (\sqrt d) 보다 작게 선택한다(구체적인 정의는 식 (6) 참조).

• 정리 4.1 (보편적 근사): 적절히 큰 (R) 와 (J) 를 택하면, 임의의 최적 방사형 지도 (T^{\star}_{\text{rad}}) 를 (\varepsilon) 오차 이내로 근사하는 (\lambda) 가 존재한다. 여기서 (\varepsilon\gg\exp(-\Omega(d))) 로 가정한다.

4.2 목표 함수와 그라디언트

KL 발산은

[ F(\lambda)=\operatorname{KL}(T_{\lambda\sharp}\rho\Vert\pi) = \mathbb E_{X\sim\rho}!\bigl[V(T_{\lambda}(X))\bigr]

• \mathbb E_{X\sim\rho}!\bigl[\log\det D T_{\lambda}(X)\bigr]

• \text{const.} ]

와 같이 표현된다. 첫 번째 항은 Monte‑Carlo 샘플링을 통해, 두 번째 항은 (\Psi_{j}) 와 (\Psi_{j}’) 의 일변량 적분을 이용해 효율적으로 추정한다.

4.3 알고리즘 흐름

Algorithm 1  radVI
Input:  π ∝ exp(-V)  (∇V 제공)
Parameters:  step size h, iteration count K
1. Construct basis {Ψ_j}_{j=0}^J  (식 (6))
2. Compute Gram matrix Q_{ij}=⟨Ψ_i,Ψ_j⟩_{L^2(ρ)}
3. Initialize λ^{(0)} ≥ 0
4. for k = 0,…,K-1 do
       Compute stochastic gradient ∇_λ F(λ^{(k)})
       λ^{(k+1)} ← Π_{ℝ_+^{J+1}}\bigl(λ^{(k)} - h Q^{-1}∇_λ F(λ^{(k)})\bigr)
   end for
Output:  transport map T_{λ^{(K)}} and induced distribution T_{λ^{(K)}\sharp}\rho

여기서 (\Pi_{\mathbb R_{+}^{J+1}}) 는 비음 직교 투영이며, 실제 구현에서는 확률적 투영 그라디언트 하강(SPGD) 를 사용한다.

4.4 수렴 결과

• 정리 4.3: (\pi) 가 (WC) 조건을 만족하면, 적절히 작은 step size (h)

이 글은 AI가 자동 번역 및 요약한 내용입니다.