BrokenBind: 데이터 경계 없는 다중모달 결합 기술

초록

BrokenBind는 서로 다른 데이터셋에 존재하는 모달리티를 공유 모달리티를 중심으로 연결한다. 피벗 모달리티를 이용해 교차‑데이터·교차‑모달 전이 행렬을 학습하고, 이를 통해 누락된 모달리티의 가짜 임베딩을 생성한다(모달리티 외삽, MOX). 생성된 가짜 임베딩을 실제 데이터와 함께 contrastive 학습(CyCLIP)함으로써 데이터·모달리티 불일치를 보정하고, 기존 ImageBind·LanguageBind 등보다 다양한 모달리티 조합을 저비용으로 학습한다. 실험은 저데이터 환경·다중 데이터셋 시나리오에서 기존 방법을 크게 앞선 성능을 보이며, 새로운 모달리티에 대한 일반화 능력을 입증한다.

상세 분석

본 논문은 현재 다중모달 결합 연구가 “모든 모달리티가 동일한 데이터셋에 동시에 존재하고, 인스턴스 수준의 정합성을 가진다”는 전제에 크게 의존한다는 점을 비판한다. 실제 현장에서는 시각·음성·점군·촉각 등 다양한 센서가 서로 다른 도메인(실내·실외)에서 수집되며, 동일 데이터셋에 모두 포함시키기 어렵다. 이런 상황을 ‘broken’ 데이터셋이라고 명명하고, 이를 해결하기 위한 프레임워크가 BrokenBind이다. 핵심 아이디어는 하나의 피벗 모달리티(예: 이미지 또는 텍스트)를 공유하는 두 개 이상의 데이터셋을 동시에 활용해, 피벗‑모달리티와 목표‑모달리티 사이, 그리고 서로 다른 데이터셋 간 피벗‑모달리티 사이의 관계를 전이 행렬(W)로 모델링한다. 전이 행렬은 최소제곱 역행렬(F⁺)을 이용해 구해지며, 이를 통해 피벗 임베딩을 목표 임베딩 공간으로 매핑하거나, 데이터셋 A의 피벗을 데이터셋 B의 피벗에 정렬한다. 이렇게 얻어진 두 종류의 가짜 임베딩(‘X‑mod’와 ‘X‑data’)은 정규화 항(R_Fro)으로 일관성을 강제한다.

모달리티 외삽(MOX) 손실은 생성된 가짜 임베딩과 실제 피벗 임베딩 사이에 contrastive loss를 적용해, 목표 모달리티의 표현을 학습한다. 동시에 CyCLIP(기존 CLIP 기반 contrastive + 대칭 손실)으로 기존 모달리티 간 정합성을 유지한다. 전체 손실 L = L_MOX + L_CyCLIP은 두 단계가 상호 보완적으로 작동하도록 설계돼, 피벗 모달리티가 서로 다른 데이터셋에 걸쳐 일관된 좌표계를 제공함으로써 누락된 모달리티를 효과적으로 ‘채워’준다.

실험에서는 ImageNet(시각), ShapeNet(점군), AudioSet(음성) 등 서로 다른 도메인의 데이터셋을 조합해, 텍스트·음성·점군·촉각 등 네 가지 이상 모달리티를 동시에 바인딩한다. 특히 저데이터(샘플 수 1 % 이하) 상황에서도 기존 ImageBind·LanguageBind 대비 mAP가 10~20% 이상 향상되는 것을 보여, 전이 행렬 기반 외삽이 데이터 부족 문제를 완화한다는 점을 입증한다. 또한 다중 데이터셋을 3개 이상 결합하는 ‘멀티‑엑스트라폴레이션’ 실험에서, 각 데이터셋 간 피벗‑피벗 전이와 피벗‑목표 전이를 순차적으로 적용해도 성능 저하가 없으며, 오히려 새로운 모달리티 조합에 대한 일반화가 강화된다.

이러한 설계는 (1) 피벗 모달리티가 충분히 풍부한 사전학습 모델(예: CLIP, CLAP)과 연결될 경우, 거의 모든 신규 모달리티를 저비용으로 확장 가능하게 만든다. (2) 전이 행렬이 선형 관계를 가정하지만, 다중‑엑스트라폴레이션을 통해 비선형 공간까지 근사할 수 있어, 실제 복잡한 도메인 차이도 완화한다. (3) 정규화 항을 통해 두 종류의 가짜 임베딩이 서로 충돌하지 않도록 보장함으로써, 학습 안정성을 크게 높인다.

결과적으로 BrokenBind는 “데이터셋 경계”라는 기존 제약을 넘어, 피벗을 매개로 하는 교차‑데이터·교차‑모달 정합성을 활용해, 다중 모달리티 결합을 보다 유연하고 확장 가능하게 만든 혁신적인 프레임워크라 할 수 있다.