워터스턴 프로크루스트스로 무감독 임베딩 정렬

초록

본 논문은 고차원 임베딩 집합을 정렬하기 위해 정규 직교 변환 행렬과 순열 행렬을 공동으로 추정하는 새로운 프레임워크를 제안한다. 비볼록 최적화 문제를 그래프 동형성에서 사용되는 이중 확률적 완화와 프랭크-워플 알고리즘으로 초기화하고, 미니배치 기반의 확률적 경사 하강법으로 대규모 데이터에 적용한다. 실험 결과, 무감독 단어 번역 과제에서 기존 최첨단 방법들을 능가하면서도 계산 비용을 크게 절감한다.

상세 분석

이 연구는 두 개의 고차원 점군 X와 Y를 정렬하는 문제를, 직교 행렬 Q∈O(d)와 순열 행렬 P∈Pₙ을 동시에 학습하는 형태로 공식화한다. 기존 방법들은 Wasserstein 거리 최소화 혹은 GAN 기반 적대 학습에 의존했지만, 여기서는 Procrustes 분석과 Wasserstein 2‑거리의 결합인 “Wasserstein Procrustes” 문제 min_{Q∈O(d)} W₂²(XQ, Y) = min_{Q∈O(d)} min_{P∈Pₙ}‖XQ − PY‖²_F를 제시한다. Q와 P가 고정될 때 각각의 서브문제는 닫힌 형태의 해를 갖는다: Q는 XᵀPY의 SVD UVᵀ, P는 Hungarian 알고리즘(또는 Sinkhorn 근사)으로 구한다. 그러나 교대로 최적화하면 지역 최소에 빠지기 쉬우므로, 저자는 두 단계의 혁신을 도입한다. 첫째, 문제를 이중 확률적 완화인 Birkhoff 다면체 Bₙ으로 확장하고, 프랭크‑워플 알고리즘을 이용해 전역 근사 해 P를 얻는다. 이 P를 이용해 초기 직교 행렬 Q₀를 SVD UVᵀ로 계산함으로써 초기화 품질을 크게 향상시킨다. 둘째, 전체 최적화를 미니배치 b ≤ n 크기의 서브셋 X_t, Y_t에 대해 수행한다. 각 단계에서 현재 Q_t에 대해 최적 순열 P_t를 구하고, ∇Q = −2 X_tᵀ P_t Y_t를 계산한다. 이후 Stiefel 다양체 위에 투사하는 SVD 기반 정규화를 적용해 Q{t+1}=Π_{O(d)}(Q_t − α ∇_Q) 를 수행한다. 이 확률적 접근은 O(b³) 혹은 O(b²log b) 복잡도로 순열을 구할 수 있어 대규모 n에 대해 실용적이다. 또한, 정렬 후 발생하는 허브 현상을 완화하기 위해 CSLS와 Inverted Softmax와 같은 재검색 기법을 적용한다. 실험에서는 toy 데이터와 실제 단어 임베딩(FASTTEXT, WORD2VEC)에서 양방향 정확도와 P@1을 측정했으며, 제안 방법이 기존 GAN‑ 기반 및 ICP‑기반 방법보다 빠르게 수렴하면서도 동일하거나 더 높은 정확도를 달성함을 보였다. 전반적으로 이 논문은 그래프 매칭 이론과 최적 운송 이론을 결합해 무감독 임베딩 정렬에 새로운 해법을 제시하고, 초기화와 확률적 최적화가 실제 대규모 NLP 작업에 얼마나 중요한지를 실증한다.