다목적 확률 최적화를 위한 가속 워터스테인 흐름

초록

본 논문은 확률분포 공간에서 다목적 최적화 문제를 해결하기 위해 기존 MWGraD 알고리즘을 가속화한 A‑MWGraD를 제안한다. 연속시간 흐름 분석을 통해 지오데식 볼록 목표에 대해 O(1/t²), β‑강하게 지오데식 볼록 목표에 대해 O(e^{‑√β t})의 수렴 속도를 증명하고, 커널 기반 이산화 구현과 실험을 통해 기존 MWGraD 대비 빠른 수렴과 샘플링 효율성을 확인한다.

상세 분석

본 연구는 확률분포의 2‑Wasserstein 공간 위에서 다목적 함수 F₁,…,F_K 를 동시에 최소화하는 문제를 다룬다. 기존 작업인 MWGraD는 각 목적의 Wasserstein gradient 를 추정하고, 이를 convex hull 로 결합해 하나의 업데이트 방향을 만든다. 이때 흐름은 ρ_t 의 연속시간 한계에서 ˙ρ_t + ∇·(ρ_t ∇Φ_t)=0, Φ_t = proj_{conv{δF_k}}(0) 로 표현된다. 저자는 이 흐름을 Nesterov 가속의 Hamiltonian 해석에 맞추어 가속화한다. 구체적으로 가속 흐름 A‑MWGraD는 ˙ρ_t + ∇·(ρ_t ∇Φ_t)=0, ˙Φ_t + α_t Φ_t + ½‖∇Φ_t‖² + proj_{conv{δF_k}}(0)=0 로 정의된다. 여기서 α_t 은 일반 볼록 경우 3/t, 강한 볼록 경우 2√β 로 설정한다.

수렴 분석은 merit function M(ρ)=sup_q min_k{F_k(ρ)-F_k(q)} 를 사용한다. 이 함수는 M(ρ)=0 일 때 ρ 가 약 Pareto 최적임을 보장한다. 저자는 Lyapunov 함수 V(q,t)=½W₂²(ρ_t,q) 를 도입해 E_k(ρ_t,q)=F_k(ρ_t)-F_k(q) 가 비증가함을 증명하고, E(ρ_t,q)=min_k E_k ≤ -˙V 를 이용해 M(ρ_t) ≤ R²/t² 형태의 경계식을 얻는다. 가속 흐름에서는 α_t 를 적절히 선택해 V 와 Φ 의 에너지 결합을 제어함으로써 M(ρ_t) ≤ (α-1)R²/t², 혹은 강한 볼록 경우 M(ρ_t) ≤ e^{-√β t}(min_k F_k(ρ_0)+βR²) 를 도출한다. 이는 기존 O(1/t) 수렴보다 두 배 빠른 속도이며, 강한 볼록성에서는 지수적 가속을 제공한다.

이산화 측면에서 저자는 커널 기반 밀도 추정과 Stein variational gradient descent (SVGD) 를 결합해 ∇δF_k 를 효율적으로 근사한다. 다목적 상황에서는 각 목적의 스코어 함수의 가중치를 동적으로 업데이트하는 최적 w∈Δ_K 를 구해 v_n = Σ_k w_k ∇δF_k 로 정의하고, 이를 입자 집합에 적용한다. 실험에서는 2‑D 혼합 가우시안, MNIST 기반 다중 타깃 샘플링, 그리고 복합 베이지안 신경망 사후 추정 등에서 A‑MWGraD 가 수렴 속도와 최종 파레토 프론트 근접도에서 MWGraD 를 일관적으로 앞선다. 전체적으로 이 논문은 Wasserstein 공간에서 다목적 최적화의 가속화 이론을 최초로 제공하고, 실용적인 알고리즘 구현과 경험적 검증을 통해 그 유용성을 입증한다.