대화형 통합 멀티모달 모델 ChatUMM

초록

ChatUMM은 연속적인 대화 흐름에서 텍스트와 이미지를 교차로 처리하도록 설계된 통합 멀티모달 모델이다. 인터리브된 다턴 학습 전략과 단계별 대화 데이터 합성 파이프라인을 통해 장기 의존성 추적과 잡음이 섞인 대화에서도 정확한 의도 파악을 가능하게 하며, 시각 이해·편집·텍스트‑이미지 생성 벤치마크에서 최신 오픈소스 모델들을 앞선다.

상세 분석

본 논문은 기존 통합 멀티모달 모델(UMM)이 단일 턴 요청에 최적화돼 대화형 어시스턴트 역할을 수행하기 어렵다는 한계를 정확히 짚고, 이를 극복하기 위한 두 가지 핵심 기법을 제시한다. 첫 번째는 “인터리브 다턴 학습”(interleaved multi‑turn training)으로, 텍스트와 이미지 토큰을 특수 구분 토큰(|im s|, |im e|, |v s|, |v e|)으로 감싸 연속적인 스트림 형태로 모델에 입력한다. 이 구조는 텍스트‑이미지 전환을 명시적인 의도 신호로 활용해, 텍스트 생성 직후 이미지 생성, 이미지 생성 후 텍스트 응답을 자연스럽게 연결한다. 또한 Generalized Causal Attention을 적용해 현재 턴이 전체 대화 히스토리를 전역적으로 참조하도록 함으로써 장기 의존성을 효과적으로 모델링한다. 두 번째는 대화 데이터 합성 파이프라인이다. 단일 턴 데이터셋을 세 단계(기본 상태 대화 구축 → ‘디스트랙터’ 턴 삽입 및 히스토리‑의존 질의 재작성 → 인터리브 멀티모달 응답 생성)로 변환해, 대화 중 잡음(무관한 턴)과 긴 의존 관계를 학습하도록 설계했다. 특히 ‘디스트랙터’ 턴은 모델이 히스토리에서 필요한 정보를 정확히 검색하고, 질의 재작성 과정을 통해 의도 모호성을 해소하도록 훈련한다. 모델 아키텍처는 BAGEL 기반의 디코더‑전용 트랜스포머에 Mixture‑of‑Transformers(MoT)와 선택적 모달리티‑전문 FFN을 결합해, 텍스트와 이미지 양쪽을 동시에 최적화한다. 시각 이해를 위해 ViT 토큰을, 이미지 생성은 VAE 잠재공간을 사용해 각각 고수준 의미와 저수준 디테일을 보존한다. 학습 목표는 텍스트와 특수 토큰에 대한 교차 엔트로피 손실(L_CE)과 이미지 생성에 대한 Flow Matching 기반 MSE 손실(L_MSE)을 동시에 최소화하는 것이다. 실험 결과, ChatUMM은 Visual‑ChatGPT, LLaVA 등 기존 오픈소스 UMM 대비 VQA, 이미지 편집, 텍스트‑이미지 생성 등 다수 벤치마크에서 최고 성능을 기록했으며, 특히 5턴 이상 길이의 복합 대화에서 오류율이 현저히 낮았다. 이는 인터리브 학습과 데이터 합성 파이프라인이 장기 의존성 해결과 잡음 억제에 크게 기여했음을 의미한다. 전체적으로 본 연구는 멀티모달 대화를 위한 데이터·모델·학습 삼위일체 접근법을 제시함으로써, 차세대 AI 어시스턴트가 연속적인 창작·문제 해결 과정을 자연스럽게 지원할 수 있는 기반을 마련한다.