효율적인 멀티모달 대형 언어 모델: 최신 동향과 미래 전망

초록

본 설문은 멀티모달 대형 언어 모델(MLLM)의 효율성 향상을 목표로 하는 연구들을 체계적으로 정리한다. 비전 인코더, 비전‑언어 프로젝터, 경량화된 LLM, 토큰 압축, 구조적 최적화, 학습 기법 및 데이터·벤치마크까지 여섯 가지 축으로 분류하고, 주요 모델들의 아키텍처·성능·응용 사례를 비교한다. 또한 현재 한계와 향후 연구 방향을 제시한다.

상세 분석

본 설문은 효율적인 MLLM을 구현하기 위한 핵심 기술을 네 가지 레이어로 구분한다. 첫 번째 레이어는 비전 인코더이다. 기존 대형 모델이 CLIP‑ViT‑L/14, CLIP‑Large 등 무거운 백본을 사용하는 반면, 효율화 연구는 ViT‑amin, BRAVE, Cobra, SPHINX‑X와 같이 경량화된 구조와 다중 인코더 결합 방식을 도입한다. ViT‑amin은 초기 단계에 ConvStem과 MobileConvBlock을 삽입해 파라미터와 FLOPs를 크게 줄이면서도 ImageNet zero‑shot 82.9%라는 경쟁력을 확보한다. 다중 인코더 전략인 BRAVE와 SPHINX‑X는 DINOv2, CLIP‑ConvNeXt 등 서로 다른 사전학습 목표와 아키텍처를 결합해 시각 표현의 다양성을 확보하고, 이를 MEQ‑Former와 같은 쿼리‑기반 트랜스포머로 통합한다.

두 번째 레이어는 비전‑언어 프로젝터이다. 전통적인 MLLM은 단순 Linear 혹은 MLP 기반 프로젝터를 사용하지만, 효율화 모델은 Q‑Former(쿼리‑기반 트랜스포머), Perceiver Resampler(잠재 쿼리와 Cross‑Attention), LDPv2(점‑와이즈 Conv + Pooling + PEG) 등 다양한 구조를 탐색한다. 특히 Honeybee에서 제안한 C‑Abstractor와 D‑Abstractor는 로컬 컨텍스트를 보존하면서 토큰 수를 자유롭게 조절할 수 있는 하이브리드 설계로, 토큰 압축과 연산량 감소에 큰 기여를 한다.

세 번째 레이어는 경량화된 LLM이다. 설문은 Phi‑2, Gemma, Qwen‑1.5, MiniGPT‑V 등 1~3 B 파라미터 규모의 모델을 LLM 백본으로 채택하고, MoE‑LLaVA, VL‑Mamba, FastV와 같은 Mixture‑of‑Experts 혹은 전용 어텐션 구조를 통해 언어 측 연산을 최적화한다. 이러한 경량 LLM은 비전 인코더와 프로젝터가 제공하는 압축된 시각 토큰을 효과적으로 처리하면서도 VQA, TextVQA, GQA 등 멀티모달 벤치마크에서 경쟁력 있는 성능을 유지한다.

네 번째 레이어는 토큰 압축 및 구조적 효율화이다. LLaVA‑UHD, TinyChart, IXC2‑4KHD 등은 고해상도 이미지 입력을 2‑D 스캔 혹은 S2‑Wrapper와 같은 전처리 모듈로 토큰 수를 10배 이상 감소시킨다. 또한 SPD, FastV, VTW와 같은 경량 어텐션 변형은 시퀀스 길이에 대한 복잡도를 O(N)에서 O(log N) 수준으로 낮춘다.

학습 측면에서는 프리‑트레이닝, 인스트럭션 튜닝, 다단계 학습 및 파라미터 효율 전이학습(EAS, MemVP) 전략을 제시한다. 프리‑트레이닝 데이터는 LAION‑2M, ShareGPT‑4V‑PT 등 대규모 이미지‑텍스트 쌍을 활용하되, 데이터 필터링과 샘플링을 통해 비용을 절감한다. 인스트럭션 튜닝 단계에서는 LaVIN, HyperLLaVA 등 멀티모달 지시문을 활용해 모델의 일반화 능력을 강화한다.

마지막으로 벤치마크와 응용을 살펴보면, 설문은 VQA‑v2, MME, POPE 등 기존 멀티모달 평가 지표 외에 의료 영상(LLaVA‑Rad), 문서 이해(TextHawk, TinyChart), 비디오 이해(Video‑LLaVA) 등 도메인 특화 작업을 포함한다. 이러한 응용 사례는 효율화된 MLLM이 엣지 디바이스, 모바일, 의료 현장 등 제한된 연산 환경에서도 실용적으로 활용될 수 있음을 보여준다.

전반적으로 본 설문은 효율성 향상을 위한 모듈별 경량화, 다중 인코더·프로젝터 결합, 토큰 압축, 전용 구조 설계, 다단계 학습이라는 다차원 접근법을 체계적으로 정리하고, 현재 한계(성능‑효율 트레이드오프, 표준화된 효율 벤치마크 부족)와 향후 연구 방향(하드웨어‑소프트웨어 공동 설계, 자동화된 효율 탐색, 프라이버시‑보호 학습)도 제시한다.