강건한 서브선형 수렴률을 갖는 반복 베르그만 투사

초록

본 논문은 엔트로피 정규화된 선형 프로그램을 두 개 이상의 블록으로 분할하여 사이클형 KL 베르그만 투사(예: Sinkhorn 알고리즘)를 적용했을 때, 이중 목표 함수가 $O(1/k)$ 속도로 감소함을 보인다. 특히 정규화 파라미터 $\gamma$에 대한 의존도가 $1/\gamma$ 수준으로만 선형적으로 증가하는 ‘강건(robust)’한 수렴률을 증명하고, 이를 그래프 위의 Wasserstein‑1 거리 계산을 위한 새로운 flow‑Sinkhorn 알고리즘에 적용해 $O(p/\varepsilon^{4})$ 연산 복잡도를 얻는다.

상세 분석

논문은 먼저 비용 함수 $⟨C,x⟩$와 비음수 제약 $x\ge0$을 갖는 선형 프로그램을 $Ax=b$라는 두 블록 $A_1x=b_1$, $A_2x=b_2$ 로 분리한다. 엔트로피 정규화 파라미터 $\gamma>0$와 기준 벡터 $z$를 도입해 정규화 문제 $(P_\gamma)$를 정의하고, KL 발산을 이용한 사이클형 베르그만 투사(즉, $C_1$, $C_2$에 교대로 투사) 알고리즘을 제시한다. 핵심은 이 알고리즘을 이중 변수 $u=(u_1,u_2)$에 대한 블록 좌표 상승(block‑coordinate ascent)으로 재해석하는 것이다.

이때 이중 목표 함수 $F_\gamma(u)=\langle b,u\rangle+\gamma Z-\gamma\sum_i z_i\exp\big((A^\top u)_i-C_i\big)/\gamma$ 를 정의하고, 각 블록 업데이트 $\Psi_1,\Psi_2$ 를 통해 $u^{k+1}_1=\Psi_1(u^k_2)$, $u^{k+1}2=\Psi_2(u^{k+1}1)$ 로 진행한다. 저자는 새로운 ‘블록‑쿼션트 세미노름’ $|u|V=\max{|u_1|{V_1},|u_2|{V_2}}$ 를 도입해, $V_i$ 가 $\ker(A^\top)$에 대한 최소 $\ell\infty$ 거리로 정의됨을 보인다. 이 세미노름은 블록 분할 구조를 정확히 반영하므로, 이중 변수의 크기를 제어하는 데 필수적이다.

주요 정리(Theorem 3.1)는 다음과 같다. 만약 모든 반복에 대해 원시 변수 $x^{(k)}$ 의 $\ell_1$ 노름이 $X_\gamma$ 로, 이중 변수 $u^{(k)}$ 의 블록‑쿼션트 노름이 $U_\gamma$ 로 균일하게 제한된다면, 이중 갭 $\Delta_k=F_\gamma^\star-F_\gamma(u^{(k)})$ 은
\