다중 모델 표현 정렬을 위한 기하학 보정 프로크루스츠 방법

초록

본 논문은 세 개 이상인 신경망 모델들의 잠재 표현을 하나의 공유 좌표계로 정렬하는 방법을 제안한다. 기존의 쌍별 정렬은 O(M²)의 비용과 경로 일관성 부재 문제를 안고 있었으며, 저자는 이를 일반화된 프로크루스츠 분석(GPA)으로 확장해 O(M) 규모의 정렬을 구현한다. 그러나 순수 등거리 정렬은 검색 성능에 한계가 있음을 확인하고, CCA 기반의 합의 최대화 기법이 더 우수함을 보인다. 이를 해결하기 위해 GPA 기반의 공유 우주를 만든 뒤, 잔여 방향 오차를 보정하는 Geometry‑Corrected Procrustes Alignment(GCPA)를 제안한다. 실험 결과 GCPA가 모든 모델 간(any‑to‑any) 검색 정확도를 크게 향상시키면서도 기하학적 일관성을 유지함을 입증한다.

상세 분석

이 논문은 “플라톤 표현 가설(Platonic Representation Hypothesis)”에 기반해, 서로 다른 초기화·아키텍처·데이터로 학습된 모델들이 결국 유사한 잠재 구조를 형성한다는 사실을 활용한다. 기존 연구들은 주로 두 모델 사이의 선형·직교 매핑을 학습해 서로의 표현을 맞추는 방식을 사용했으며, 이는 모델 수가 늘어날수록 매핑 수가 제곱적으로 증가하고, 경로에 따라 변환 결과가 달라지는 ‘사이클 불일치’ 문제를 야기한다.

저자는 이를 해결하기 위해 공유 우주(Universal Space) 개념을 도입한다. 각 모델마다 하나의 직교 변환 Ωₘ을 학습해 해당 모델의 표현을 공통 좌표계 U에 투사한다. 이때 사용되는 최적화는 전통적인 Generalized Procrustes Analysis(GPA)와 동일하게, 각 모델의 회전 행렬을 교대로 업데이트하며 전체 평균 제곱 오차를 최소화한다. GPA의 장점은 내부 거리와 각도 보존이다. 즉, 원본 공간의 기하학적 구조가 변형되지 않아 모델 스티칭이나 프로빙과 같은 작업에 적합하다.

하지만 저자는 실험을 통해 순수 등거리 정렬이 검색(Retrieval) 과제에서는 비효율적임을 확인한다. 검색에서는 매치된 샘플 간 코사인 유사도를 최대화하는 것이 핵심이며, 이는 모델 간의 미세한 방향 차이를 허용하는 것이 오히려 성능을 끌어올린다. 따라서 GPA와 대비되는 Generalized Canonical Correlation Analysis(GCCA) 를 벤치마크로 사용했으며, GCCA가 평균 쌍별 차이를 최소화하는 전역 최적해를 제공함을 보였다.

이러한 두 접근법의 장단점을 조화시키기 위해 제안된 것이 **Geometry‑Corrected Procrustes Alignment(GCPA)**이다. GCPA는 먼저 GPA를 통해 안정적인 공유 우주를 구축하고, 이후 모든 모델에 대해 동일한 경량 MLP T_θ 를 학습시켜 잔여 방향 오차를 보정한다. 보정 단계의 손실 함수는 (1) 각 모델이 변환한 벡터와 해당 샘플의 컨센서스 방향(c_i) 사이 코사인 유사도를 최대화하고, (2) 원래 GPA 변환에서 크게 벗어나지 않도록 강제하는 신뢰 손실(L_trust)을 포함한다. 이렇게 하면 공유 좌표계는 유지하면서도 검색용 합의도 향상된다.

실험에서는 (a) 취약한 모델 쌍을 다수의 견고한 앵커 모델을 통해 우주에 포함시켜 직접 매핑보다 높은 스티칭 정확도를 얻었으며, (b) 새로운 모델을 추가할 때 기존 우주에 Ω_{M+1}만 학습하면 되므로 재학습 비용이 크게 감소한다는 점을 입증했다. 또한 any‑to‑any 검색에서 GCPA가 기존 GPA·PW·GCCA 대비 평균 2~5%p(percentage point) 이상의 정확도 향상을 보였으며, 기하학적 왜곡은 거의 발생하지 않았다.

이 논문의 핵심 기여는 (1) 다중 모델 정렬을 O(M) 복잡도로 일반화한 GPA 기반 프레임워크, (2) 검색 성능을 위한 방향 보정 기법인 GCPA, (3) 실험을 통한 정량적·정성적 검증이다. 특히, 공유 우주를 기반으로 한 모델 추가·교체가 용이한 구조는 대규모 모델 허브(예: 멀티모달 멀티언어 시스템) 구축에 실용적이며, 향후 비지도·부분 매핑 상황에도 확장 가능성을 시사한다.