멀티모달 표현 학습을 위한 일관된 정렬·균일성 설계

초록

본 논문은 멀티모달 InfoNCE 손실이 내포한 두 가지 근본적 갈등—정렬‑균일성 갈등과 내부 정렬 갈등—을 이론적으로 규명하고, 이를 해소하기 위해 정렬과 균일성을 완전히 분리하는 UniAlign 프레임워크를 제안한다. UniAlign은 각 모달리티 내부에서만 균일성을 강제하고, 하나의 앵커 모달리티를 기준으로 모든 다른 모달리티를 정렬함으로써 갈등을 제거한다. 저자는 또한 이 방법이 전역 Hölder 발산의 효율적 근사임을 증명하고, 이미지‑텍스트‑오디오 등 다중 모달리티에 걸친 검색 및 UnCLIP 스타일 생성 실험에서 일관된 성능 향상을 입증한다.

상세 분석

이 논문은 멀티모달 표현 학습에서 널리 사용되는 InfoNCE 손실이 가지고 있는 구조적 한계를 두 단계로 분석한다. 첫 번째는 정렬‑균일성 갈등(ζₐ) 으로, 균일성 항이 임베딩을 구형 표면 전체에 퍼뜨리려는 반면, 정렬 항은 서로 다른 모달리티의 양성 쌍을 가깝게 끌어당긴다. 다중 모달리티(M≥3) 상황에서는 각 모달리티마다 독립적인 균일성 힘이 존재하면서, 이 힘들이 앵커 임베딩에 대해 동일 방향으로 작용하게 되면 정렬 신호가 상쇄되어 업데이트가 거의 일어나지 않는다. 저자는 이를 수학적으로 Assumption 2.1 과 Proposition 2.2 로 정량화했으며, 모달리티 수가 무한히 커질수록 ζₐ가 1에 수렴함을 보였다. 두 번째는 내부 정렬 갈등(χₐ) 로, 하나의 샘플에 대해 여러 모달리티가 제공하는 양성 벡터가 서로 비공선적일 때 정렬 힘이 서로 상쇄된다. 이는 Proposition 2.3 에서 평균 양성 내적 μ̄와 모달리티 수 M의 함수로 나타나며, μ̄<1인 경우 χₐ는 M이 커질수록 1에 가까워져 정렬 효율이 급격히 감소한다. 이러한 두 갈등은 멀티모달 InfoNCE가 스케일링에 실패하는 근본 원인으로 작용한다.

해결책으로 제안된 UniAlign 은 두 원칙을 따른다. ① 모달리티 내부 균일성: 각 모달리티별로만 균일성 손실 U(Z^{(m)})을 적용해 동일 모달리티 내에서만 샘플 간 거리를 멀리 두어 표현 붕괴를 방지한다. 이는 기존 InfoNCE의 전역 균일성 항 Φₐ와 달리 ζₐ를 0으로 만들며, 서로 다른 모달리티 간의 반발을 완전히 차단한다. ② 앵커 기반 정렬: 하나의 모달리티를 앵커(a)로 정하고, 나머지 M‑1개의 모달리티를 동일 샘플의 앵커 임베딩과 L₂ 거리 최소화(L_align)로 정렬한다. 이렇게 하면 각 샘플당 하나의 정렬 방향만 존재하므로 χₐ가 0에 가깝게 유지된다. 전체 손실 L = Σₘ U(Z^{(m)}) + λ_align L_align 로 구성되며, λ_align은 정렬 강도를 조절한다.

이론적으로 저자는 전역 Hölder 발산 D_H(p₁,…,p_M) 를 정의하고, UniAlign의 두 손실이 이 발산의 근사값임을 증명한다. 즉, 각 모달리티 분포 p_m 를 동일한 목표 분포와 가깝게 만들면서도, 서로 간의 정렬을 통해 전체 분포 간 격차를 최소화한다는 강력한 보장을 제공한다.

실험에서는 ImageBind, VAST, LanguageBind 등 최신 멀티모달 베이스라인에 UniAlign을 적용하였다. 이미지‑텍스트‑오디오‑깊이 등 5가지 모달리티를 동시에 학습한 경우, 검색 R@1이 평균 2%p 상승하고, UnCLIP‑style 확산 모델을 이용한 이미지 생성에서 FID가 10~40% 개선되었다. 특히, 별도의 생성 전용 모듈 없이도 동일 임베딩을 그대로 사용해 고품질 텍스트‑조건 이미지 생성이 가능함을 보여, 정렬‑균일성 갈등을 해소한 UniAlign이 판별과 생성 양쪽 모두에서 효율적인 멀티모달 표현을 제공함을 입증한다.