생성형 보케인으로 구현한 인터리브 비전·언어 생성 모델 MiniGPT 5

초록

MiniGPT-5는 텍스트와 이미지를 교차로 삽입·생성할 수 있는 인터리브 멀티모달 모델이다. 핵심은 LLM의 토큰 공간에 “생성형 보케인”(generative vokens)을 도입해 Stable Diffusion 2.1과 직접 연결하고, 설명이 없는 이미지‑텍스트 쌍을 활용한 두 단계 학습 전략과 classifier‑free guidance를 결합해 텍스트와 이미지의 일관성을 크게 향상시켰다. MMDialog·VIST 등에서 베이스라인 대비 56 % 이상의 인간 평가 우위를 기록한다.

상세 분석

MiniGPT-5는 기존 멀티모달 LLM이 텍스트 이해에만 머물렀던 한계를 넘어, 이미지 생성까지 포괄하는 ‘인터리브’ 방식을 제안한다. 가장 큰 혁신은 LLM의 어휘에 특수 토큰