불균형 최적 수송에서 Sinkhorn 알고리즘의 복잡도 분석

본 논문은 엔트로피 정규화된 불균형 최적 수송(UOT) 문제를 풀기 위한 Sinkhorn 알고리즘의 계산 복잡도를 이론적으로 분석한다. 저자들은 알고리즘이 ε‑근사 해를 얻는 데 필요로 하는 연산량이 ˜O(n²/ε)임을 증명하며, 이는 기존의 균형 최적 수송(OT) 문제에 대한 복잡도 ˜O(n²/ε²)보다 우수함을 보여준다. 핵심 증명은 이중 문제의 기하급수적 수렴과 원시 해의 스케일링 특성을 활용한다.

저자: Khiem Pham, Khang Le, Nhat Ho

불균형 최적 수송에서 Sinkhorn 알고리즘의 복잡도 분석
본 논문은 엔트로피 정규화된 불균형 최적 수송(Unbalanced Optimal Transport, UOT) 문제에 대한 Sinkhorn 알고리즘의 계산 복잡도를 처음으로 체계적으로 분석한다. 기존 최적 수송(OT) 문제는 두 확률분포 사이의 비용 최소화를 다루며, Sinkhorn 알고리즘은 엔트로피 정규화 덕분에 O(n²) 수준의 연산으로 근사 해를 얻을 수 있다. 그러나 UOT는 두 측정의 질량이 다를 수 있어 마진 제약이 완화된 형태이며, 이로 인해 기존 OT에 대한 복잡도 분석이 바로 적용되지 않는다. 논문은 먼저 UOT의 원시 형태를 다음과 같이 정의한다.  min_{X≥0} ⟨C, X⟩ + τ·KL(X·1_n‖a) + τ·KL(Xᵀ·1_n‖b) 여기서 a, b∈ℝⁿ₊는 각각의 질량 벡터, C∈ℝ^{n×n}_+는 비용 행렬, τ>0는 KL 정규화 파라미터이다. 엔트로피 정규화 파라미터 η>0를 추가해  min_{X≥0} ⟨C, X⟩ - η·H(X) + τ·KL(X·1_n‖a) + τ·KL(Xᵀ·1_n‖b) 를 얻으며, 이는 강한 볼록성을 확보한다. Fenchel‑Legendre 변환을 적용해 이중 문제를 도출하고, 이중 변수 u, v∈ℝⁿ에 대한 목적함수 h(u,v) = η·∑_{i,j} exp((u_i+v_j-C_{ij})/η) + τ·D_e^{-u/τ}(a) + τ·D_e^{-v/τ}(b) 로 표현한다. Sinkhorn 알고리즘은 u와 v를 교대로 업데이트한다. 구체적으로, 짝수 단계에서는 고정된 v에 대해 u를 업데이트하고, 홀수 단계에서는 고정된 u에 대해 v를 업데이트한다. 업데이트 식은  exp(u_i/η)·a_i = ∑_j exp((v_j - C_{ij})/η)·exp(-u_i/τ)·a_i 와 유사한 형태이며, 이를 로그 변환해 구현한다. 주요 이론적 결과는 다음과 같다. 1. Lemma 1‑3을 통해 최적 이중 해 (u*,v*)가 마진 a*,b*와 로그 관계를 갖고, 최적 마진은 원시 해 X*에 의해 정의된다. 2. Theorem 1은 ∆ₖ = max_i|u_i^{(k)}-u_i^*| ∨ max_j|v_j^{(k)}-v_j^*| 가 Λₖ = τ·(τ/(τ+η))·R 로 상한된다는 기하급수적 수렴을 증명한다. 여기서 R은 입력 마진과 비용 행렬의 로그 무한노름을 포함한다. 3. Theorem 2는 η를 ε/U 로 설정하고, 충분히 큰 반복 횟수 k ≥ 1 + ⌈τU/ε⌉·log(8ηR + log(τ(τ+1)) + 3log(Uε)) 를 만족하면, 현재 해 X^{(k)}가 정의된 ε‑근사 조건을 만족함을 보인다. U는 α,β,τ 및 로그 항들을 결합한 복합 상수이며, α=∑a_i, β=∑b_j이다. 4. Corollary 1은 위 결과를 종합해 전체 연산 복잡도를 O( τ(α+β) n²/ε·log n·(log‖C‖∞ + log log n + log (1/ε)) ) 로 제시한다. α,β,τ가 상수이면 복잡도는 ˜O(n²/ε) 로 단순화된다. 복잡도 분석에서 중요한 점은 UOT에서는 마진이 자유롭게 변동하므로, Sinkhorn 업데이트가 마진을 맞추는 추가 연산 없이도 기하급수적으로 수렴한다는 것이다. 이는 OT에서 마진 제약을 만족시키기 위해 추가적인 검증 단계가 필요했던 것과 대비된다. 또한, 비용 행렬의 스케일 ‖C‖∞와 정규화 파라미터 η가 복잡도에 로그 형태로만 영향을 미치므로, 실제 큰 n에 대해서도 효율적인 실행이 가능함을 의미한다. 실험 섹션에서는 합성 데이터와 실제 이미지 도메인(예: MNIST 변형)에서 알고리즘을 실행하고, 이론적 복잡도와 일치하는 수렴 속도를 관찰한다. 특히 ε를 감소시킬 때 반복 횟수가 1/ε 비례로 증가함을 확인했으며, 이는 Theorem 2와 Corollary 1이 예측한 바와 일치한다. 또한, 기존 Greenkhorn, Randkhorn 등 고급 변형 알고리즘과 비교했을 때 구현 복잡도와 메모리 사용량 면에서 우수함을 보였다. 결론적으로, 본 연구는 UOT 문제에 대한 Sinkhorn 알고리즘의 복잡도 상한을 최초로 제시함으로써, UOT가 OT보다 ε‑정밀도 측면에서 더 효율적으로 해결될 수 있음을 이론적으로 증명한다. 이는 대규모 데이터에서 질량 불균형을 다루는 다양한 응용 분야(생물학적 데이터 정렬, 이미지 도메인 적응, 딥러닝 손실 설계 등)에서 실용적인 알고리즘 선택에 중요한 지침을 제공한다.

원본 논문

고화질 논문을 불러오는 중입니다...

댓글 및 학술 토론

Loading comments...

의견 남기기