기하 인식 최적 수송: 차원 추정과 워싱턴 거리의 빠른 보정

초록

본 논문은 샘플링으로 인한 최적 수송(OT) 이산화 오류를 직접 추정하고, 그 수렴 속도로부터 데이터의 내재 차원을 빠르게 추정하는 방법을 제안한다. 핵심은 반이중 형태의 OT 목표를 이용해 가중치를 최적화하면 해가 0이 되므로, 추가 샘플을 통한 단순 몬테카를로 평균만으로 오류를 계산할 수 있다는 점이다. 추정된 오류의 다중 스케일 감소를 분석해 O(n) 시간 복잡도의 차원 추정기를 얻고, 이를 이용해 엔트로피 정규화 Sinkhorn 발산의 ε와 샘플 크기 n을 연동한 대각 리처드슨 외삽법을 설계해 워싱턴 거리 추정의 편향을 크게 감소시킨다. 실험은 합성 매니폴드와 MNIST·CIFAR와 같은 실제 데이터에서 제안 방법이 기존 베이스라인보다 정확하고 효율적임을 입증한다.

상세 분석

논문은 OT를 대규모 머신러닝에 적용할 때 가장 큰 병목이 “샘플링 오류”임을 명확히 하고, 이를 정량화할 수 있는 두 가지 도구를 동시에 제공한다. 첫 번째는 반이중(semi‑dual) 형태의 OT 문제에서, 고정된 지원점 집합 X={x₁,…,xₙ}에 대해 최적 가중치 wᵢ를 정의하면 목적함수는 0 벡터에서 최대가 된다는 수학적 정리를 제시한다(정리 3.1). 이때 OT 비용은 단순히 각 데이터 포인트가 가장 가까운 지원점까지의 거리(또는 비용) 평균으로 변환된다. 따라서 기존에 필요했던 복잡한 반이중 최적화나 반연속 OT 솔버를 전혀 사용하지 않고, 추가적인 N개의 독립 샘플을 이용해 1/N∑ₖ minⱼ c(Xₖ, xⱼ) 형태의 몬테카를로 추정량 d_OTⁿᴺ을 계산하면 된다. 이 추정량은 GPU에서 완전 병렬화가 가능하고, 제안된 베르누이형 편차 경계에 의해 확률적 수렴이 지수적으로 보장된다.

두 번째 기여는 위 추정량의 스케일링을 이용해 내재 차원 d_int를 추정하는 것이다. 기존 이론에 따르면 OT 이산화 오류는 n^{-1/d_eff} 형태로 감소하고, 여기서 d_eff는 관측 스케일 ε에 따라 변하는 유효 차원이다. 논문은 여러 샘플 크기 n에 대해 로그‑로그 플롯을 그려 기울기를 추정함으로써 다중 스케일 차원 추정기를 설계한다. 이 방법은 O(n) 시간·공간 복잡도를 갖고, 고차원 데이터에서도 저차원 매니폴드 구조를 정확히 포착한다는 실험적 증거를 제시한다.

마지막으로, 엔트로피 정규화된 OT(EO T)에서 흔히 발생하는 ε‑편향과 샘플링 편향을 동시에 제거하기 위해 “대각 리처드슨 외삽(Diagonal Richardson Extrapolation)”을 도입한다. 기존 연구는 ε만을 변동시켜 1차 편향을 보정했지만, 여기서는 ε와 n을 연동시켜 ε∝n^{-1/(d_int+4)} 형태의 스케줄을 선택하고, 두 개의 서로 다른 (ε, n) 쌍에서 얻은 Sinkhorn 발산 값을 선형 결합해 고차 편향을 소거한다. 이론적으로는 o(n^{-2/(d_int+4)}) 수렴률을 달성하며, 실험에서는 특히 d_int가 작을 때 기존 방법보다 5~10배 정도 편향이 감소한다는 결과를 얻었다. 전체 파이프라인은 (1) 샘플링 오류 추정 → (2) 내재 차원 추정 → (3) ε‑n 연동 외삽이라는 순환 구조로, 각 단계가 서로 독립적이면서도 상호 보완적으로 작동한다.