다중모달을 하나로 압축하는 단일 인코더 Omni C

초록

Omni-C는 이미지·오디오·텍스트 세 가지 이질적 모달리티를 하나의 밀집 트랜스포머 인코더에 통합한다. 별도 전문가 모델이나 MoE 라우팅 없이, 각 모달리티에 경량화된 프로젝션 헤드를 붙이고, 대규모 비정렬 데이터에 대해 단일 모달 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비 대비

상세 분석

Omni‑C는 기존 멀티모달 시스템이 겪는 “전문가 인코더”와 “MoE 라우팅”이라는 두 가지 주요 복잡성을 근본적으로 재구성한다. 첫 번째로, 이미지·오디오·텍스트 각각에 특화된 대규모 사전학습 모델을 별도로 유지하면 파라미터 수와 메모리 사용량이 모달리티가 늘어날수록 선형적으로 증가한다. 이는 실제 서비스 환경에서 GPU/CPU 메모리 제한과 배포 비용을 크게 악화시킨다. 두 번째로, MoE 기반 Omni‑model은 각 모달리티에 맞는 전문가(Expert)를 두고 라우팅 네트워크가 입력을 적절한 전문가에게 전달하도록 설계되었지만, 라우팅 연산 자체가 추가적인 연산량과 메모리 파편화를 초래한다. 특히, 라우팅이 스파스하게 활성화되더라도 전체 전문가 파라미터가 메모리에 상주해야 하므로, 추론 시에도 상당한 오버헤드가 발생한다.

Omni‑C는 이러한 문제를 “단일 밀집 트랜스포머”라는 가장 단순한 형태로 해결한다. 핵심 아이디어는 모달리티 간 파라미터 공유를 극대화하고, 경량화된 모달리티‑특화 프로젝션 헤드만을 별도로 두어 입력 차원을 맞춘 뒤, 동일한 백본에 모두 통과시키는 것이다. 이를 위해 저자는 이미지와 오디오에 각각 2D 컨볼루션 패치 임베딩 레이어를, 텍스트에는 선형 토큰 임베딩 레이어를 사용해 모두 (d) 차원의 토큰 시퀀스로 변환한다. 이후, VIT 기반 트랜스포머에 동일한 CLS 토큰과 모달리티‑특화 위치 인코딩을 더해 입력한다. 이렇게 하면 트랜스포머는 입력 길이와 형태가 다름에도 불구하고 동일한 self‑attention 메커니즘을 적용할 수 있다.

학습 단계에서는 단일 모달리티 대비 대비(contrastive) SSL을 채택한다. 각 모달리티마다 대규모 비정렬 데이터(예: ImageNet‑1K, AudioSet, 위키피디아 텍스트)를 사용해 InfoNCE 기반의 대조 손실을 최적화한다. 중요한 점은 모달리티 간 라벨링이 필요 없다는 점이다. 따라서 데이터 수집 비용이 크게 감소하고, 비지도 학습의 장점을 그대로 활용한다. 저자는 Omnivore의 순차적 학습 전략을 차용해, 이미지 → 오디오 → 텍스트 순으로 백본을 미세 조정함으로써, 한 모달리티가 다른 모달리티에 과도하게 편향되지 않도록 한다.

실험 결과는 두 가지 관점에서 흥미롭다. 첫 번째는 표현 공간의 클러스터링이다. t‑SNE 시각화(그림 1)에서 이미지, 오디오, 텍스트 임베딩이 명확히 구분된 클러스터를 형성한다는 점은, 모달리티 간 충돌을 최소화하면서도 각 모달리티 내부에서는 강한 구분성을 유지한다는 것을 의미한다. 두 번째는 어텐션 패턴이다. 이미지·오디오·텍스트 모두에 대해 학습된 백본은 분산된 어텐션 맵을 보이며, 이는 “전역적인 요약”을 수행하는 인간의 지각 메커니즘과 유사하다. 반면, 전통적인 전문가 모델은 특정 패치에 집중하는 경향이 있어, 전역적인 멀티모달 전이 학습에 한계가 있었다.

성능 측면에서는, Omni‑C가 전문가 모델 대비 유사한 수준의 결과를 보인다. 이미지 분류, 오디오 이벤트 인식, 텍스트 분류와 같은 단일 모달리티 작업에서 Zero‑Shot 성능은 약간 낮지만, 라인어 프로빙이나 LoRA 기반 파라미터 효율적 파인튜닝을 거치면 거의 복구된다. 교차 모달리티 작업(예: 이미지‑텍스트 검색, 오디오‑텍스트 매칭)에서도 SAIL 방식의 라인어 프로브를 적용했을 때 CLIP 수준의 Zero‑Shot 성능을 달성한다. 가장 큰 장점은 추론 메모리 사용량이다. 멀티‑인코더 베이스라인 대비 40~60% 정도 메모리를 절감하면서도, 순차적 모달리티 입력 처리만으로 동일한 하드웨어에서 실행 가능하다.

한계점으로는 (1) 대규모 비정렬 데이터에 대한 의존성이 있다. 충분히 다양한 데이터가 없을 경우 모달리티 간 표현 격차가 커질 수 있다. (2) 모달리티 별 특화된 전처리(예: 오디오 스펙트로그램 파라미터 선택)가 성능에 민감하다. (3) 현재는 세 가지 모달리티에 한정돼 있어, 비디오, 3D 포인트 클라우드 등 고차원 시퀀스를 다루려면 추가 설계가 필요하다.

전반적으로 Omni‑C는 “하나의 백본, 여러 모달리티”라는 설계 철학을 입증했으며, 파라미터 효율성, 메모리 절감, 그리고 라우팅 없는 단순 구조라는 세 축에서 기존 멀티모달 접근법을 뛰어넘는다. 향후 연구는 (i) 더 많은 모달리티 확장, (ii) 대규모 비정렬 데이터 자동 수집 파이프라인, (iii) 멀티모달 파인튜닝 전략(예: 프롬프트 튜닝) 등을 통해 실용성을 더욱 높일 수 있을 것으로 기대된다.