고차원 인터랙티브 샘플링을 위한 라돈‑워샤르츠 흐름

초록

본 논문은 라돈 변환을 이용해 정의한 새로운 라돈‑워샤르츠(RW) 및 정규화 라돈‑워샤르츠(RRW) 기하학을 기반으로, KL 발산의 그래디언트 흐름을 고차원에서 효율적으로 근사할 수 있는 인터랙티브 파티클 알고리즘을 제안한다. 1차원 투영만을 사용해 속도장을 계산함으로써 연산 복잡도를 O(n d)로 낮추고, FFT 기반의 1D 컨볼루션으로 구현한다. 이론적으로 흐름의 존재·유일성, 안정성, 장기 수렴을 증명했으며, 실험을 통해 기존 SVGD·Fokker‑Planck 기반 방법보다 높은 차원에서 정확도와 속도면에서 우수함을 보였다.

상세 분석

논문은 먼저 확률 측정공간 위에 정의된 전통적인 워샤르츠 거리와는 달리, 라돈 변환 Rθ를 이용해 측정들을 1차원 투영 공간 Dᵈ로 매핑한다. 이때 각 투영은 방향 θ∈S^{d‑1}에 대해 1차원 밀도 Rθρ와 그 미분 ∂_p(Rθρ)만을 필요로 하므로, 고차원에서의 복잡한 다변량 연산을 회피할 수 있다. 저자들은 이러한 투영 기반 구조 위에 Riemannian metric tensor g_RW를 정의하고, KL 발산 ℱ(ρ)=∫ρ log(ρ/π)dx에 대한 기하학적 그래디언트 흐름을 도출한다. 결과적인 연속 방정식은
∂t ρ_t = –∇·(ρ_t v_t), v_t(x)=∫{S^{d‑1}} ∂_p log (Rθπ/ Rθρ_t)(⟨x,θ⟩) θ dθ,
와 같이 1차원 라돈 투영의 로그 비율의 미분을 방향 θ와 결합한 형태이다. 이 흐름은 기존 워샤르츠 기반 Fokker‑Planck 흐름보다 파티클 간 상호작용을 1차원 컨볼루션으로 제한하므로, 파티클 수 n과 차원 d에 대해 선형 복잡도 O(nd)를 달성한다.

정규화 라돈‑워샤르츠(RRW) 기하학은 라돈 변환에 가우시안 커널 K_σ를 합성해 부드러운 정규화를 적용한다. 이는 수치적 안정성을 높이고, 고차원에서의 샘플링 편향을 제어한다. RRW 흐름의 속도장은
v_t^{RRW}(x)=∫_{S^{d‑1}} ( K_σ * ∂_p log (Rθπ/ Rθρ_t) )(⟨x,θ⟩) θ dθ,
와 같이 1D FFT를 이용해 효율적으로 계산된다. 저자들은 또한 커널 밀도 정규화 라돈‑워샤르츠(KDRW) 흐름을 제안해, 라돈 투영에 직접 KDE를 적용함으로써 파티클이 이산적일 때도 정의 가능한 연속 흐름을 얻는다.

알고리즘 측면에서, 파티클 집합 {x_i}_{i=1}^n에 대해 각 방향 θ를 샘플링하고, 해당 투영을 히스토그램 혹은 KDE로 추정한 뒤, FFT를 통해 ∂_p log 비율을 구한다. 이후 각 파티클은 v_t(x_i) 방향으로 이동한다. 이 과정은 매 스텝마다 O(nd) 연산과 O(d) 메모리만을 요구한다. 복잡도 분석에서는 전통적인 SVGD가 O(n²d) 혹은 O(p n d) (p는 커널 차수)인 반면, 제안 방법은 선형 스케일링을 보인다.

이론적 결과로는 (1) KDRW·RRW 흐름의 존재와 유일성을 보장하는 PDE 해석, (2) 워샤르츠 거리에 대한 L‑Lipschitz 연속성으로부터 파티클 시스템의 평균장(mean‑field) 수렴, (3) stochastic gradient descent 형태의 이산화에 대한 수렴 보장, (4) t→∞에서 RRW 흐름이 목표 분포 π에 지수적으로 수렴한다는 장기 수렴 정리를 제시한다.

실험에서는 2‑D Rosenbrock, 10‑D Gaussian mixture, 50‑D Bayesian 로지스틱 회귀 등 다양한 베이지안 모델에 적용하였다. 결과는 (i) 동일 파티클 수에서 SVGD 대비 높은 ESS(effective sample size)와 낮은 KL 오차, (ii) 차원이 증가함에 따라 SVGD는 커널 폭을 크게 잡아야 하는 반면, 제안 방법은 폭 선택에 크게 민감하지 않음, (iii) FFT 기반 구현이 GPU에서도 메모리 효율적으로 동작함을 확인했다. 전체적으로 라돈‑워샤르츠 흐름은 고차원 인터랙티브 파티클 샘플링에 있어 계산 효율성과 정확도 사이의 균형을 성공적으로 맞춘 새로운 패러다임이라 할 수 있다.