멀티모달 대비학습 표현의 정규화 하나의 회전 행렬로 정렬

초록

본 논문은 서로 다른 데이터와 아키텍처로 독립 학습된 멀티모달 대비학습 모델들 사이에 존재하는 기하학적 관계를 탐구한다. 이미지와 텍스트 인코더 모두에 대해 단일 직교 변환 Q(즉, 회전 행렬)만으로 두 모델의 임베딩 공간을 정렬할 수 있음을 실험과 이론을 통해 입증한다. 작은 앵커 셋에서 멀티모달 커널(이미지‑텍스트 내적)이 일치하면 전체 공간이 동일한 직교 변환으로 연결된다는 정리를 제시하고, 이를 활용해 모델 업그레이드 시 재임베딩 비용을 크게 절감하고 프라이버시 위험을 평가한다.

상세 분석

이 연구는 멀티모달 대비학습 모델, 특히 CLIP·SigLIP·FLAVA와 같은 이미지‑텍스트 쌍을 학습하는 듀얼 인코더 구조에 초점을 맞춘다. 기존 연구는 서로 다른 모델이 유사한 유사도 구조를 보인다는 점에 머물렀지만, 본 논문은 “구체적인 좌표 변환”까지 규명한다는 점에서 차별화된다. 핵심 가설은 두 모델 M = (f, g)와 ˜M = (˜f, ˜g) 사이에 전역적인 직교 행렬 Q가 존재한다는 것으로, 이는 QᵀQ = I를 만족한다. 즉, 이미지 임베딩 ˜f(x)≈Q f(x) 뿐 아니라 텍스트 임베딩 ˜g(y)≈Q g(y)까지 동시에 정렬된다.

이론적 기여는 크게 두 부분으로 나뉜다. 첫째, 인포넥스(InfoNCE) 목표함수의 최적해는 점별 상호정보(PMI)와 동일한 스코어 함수를 만든다는 사실을 이용해, 동일 혹은 bijective하게 변환된 데이터 분포에서 학습된 두 모델은 멀티모달 커널 ⟨f,g⟩와 ⟨˜f,˜g⟩이 상수 차이만을 가진다고 증명한다. 둘째, 이러한 커널 일치가 작은 앵커 셋(예: 1 % 정도의 이미지‑텍스트 쌍)에서만 확인되면, 두 모델 사이의 변환 ψ는 선형이며, 단위 구면 제약 하에 회전(직교) 변환으로 수축된다. 근사적인 경우에도 커널 차이가 ε 이하이면 Q의 추정 오차가 O(ε)로 제한된다는 안정성 경계가 제시된다.

실험에서는 서로 다른 아키텍처와 차원(d ≤ ˜d) 사이에서도 평균 0.98 이상의 코사인 유사도를 달성했으며, Q를 이미지만으로 학습했음에도 텍스트 정렬이 크게 향상되는 현상을 관찰했다. 특히, Q를 적용한 후 텍스트‑텍스트 코사인 유사도가 크게 상승하고, 프롬프트 기반 클래스 검색 정확도가 원 모델과 거의 동일하게 유지되는 등 의미론적 구조가 보존됨을 확인했다. 데이터 효율성 측면에서는 전체 데이터의 약 30 %만으로도 Q를 안정적으로 추정할 수 있었으며, 한 데이터셋에서 학습한 Q가 다른 데이터셋에서도 그대로 적용되는 전이 가능성을 보였다.

실용적 파급효과는 세 가지로 정리된다. (1) 모델 업그레이드 시 기존 임베딩을 재계산하지 않아도 되므로 저장·연산 비용이 크게 절감된다. (2) 동일한 Q가 이미지와 텍스트 모두에 적용되므로 멀티모달 파이프라인 간의 호환성이 확보된다. (3) 프라이버시 관점에서, 동일한 Q가 존재한다는 사실은 공격자가 제한된 앵커 데이터를 통해 다른 모델의 임베딩을 역추정할 가능성을 시사한다. 전체적으로 이 논문은 멀티모달 대비학습 모델 간의 “정규화된” 관계를 명확히 규정함으로써, 모델 교환성, 효율적 업그레이드, 그리고 보안·프라이버시 논의에 새로운 이론적·실증적 기반을 제공한다.