다이나믹 피라미드 네트워크로 효율적인 멀티모달 대형 언어 모델 구현

초록

본 논문은 멀티모달 대형 언어 모델(MLLM)의 시각 토큰을 계층적으로 압축하는 ‘다이나믹 피라미드 네트워크(DPN)’를 제안한다. DPN은 LLM 내부에 여러 단계의 풀링 레이어를 삽입하고, 입력 이미지와 텍스트의 복합 정보를 이용해 최적의 압축 비율을 동적으로 선택한다. 이를 위해 ‘다이나믹 풀링 전문가(DPE)’와 라우팅 손실을 도입해 샘플 난이도에 따라 연산량을 조절한다. LLaVA·LLaVA‑HR에 적용한 실험에서 평균 FLOPs를 최대 56% 절감하면서도 성능은 0.74%p 상승하는 등 효율성과 정확성을 동시에 달성하였다.

상세 분석

이 논문은 멀티모달 대형 언어 모델(MLLM)의 핵심 병목인 시각 토큰 수를 줄이면서도 시각 의미 손실을 최소화하는 새로운 구조적 접근을 제시한다. 기존의 효율화 방법은 주로 이미지 인코더 뒤에 고정된 차원 축소 프로젝트를 두어 시각 정보를 일괄적으로 압축했으며, 이는 복잡한 장면이나 작은 객체(예: OCR 텍스트)에서 중요한 디테일을 소실시키는 단점이 있었다. 저자들은 이러한 한계를 극복하기 위해 ‘피라미드’ 형태의 계층적 압축을 도입한다. 구체적으로, LLM의 여러 Transformer 레이어(예: 8, 16, 24번째 레이어)에 ‘다이나믹 풀링 전문가(DPE)’를 삽입하고, 각 레이어에서 시각 토큰을 점진적으로 풀링한다. 얕은 레이어에서는 최소한의 풀링만 적용해 세밀한 시각 정보를 보존하고, 깊은 레이어에서는 더 큰 풀링 커널을 사용해 토큰 수를 크게 줄인다.

핵심 메커니즘인 DPE는 Mixture‑of‑Experts(MoE) 구조를 차용한다. 입력 시각 토큰과 텍스트 토큰에 학습 가능한 라우팅 토큰 r을 추가하고, r을 통해 라우터가 각 풀링 전문가(예: 1×1, 1×2, 2×2 풀링)의 선택 확률을 예측한다. 라우터는 간단한 MLP와 softmax로 구현되며, 학습 과정에서 라우팅 손실(L_r)을 도입해 기대 압축 비율을 목표값(t)와 가깝게 유지하도록 유도한다. 라우팅 손실은 ‘max(0, t - Σ R_i·C_i)’ 형태의 힌지 함수이며, 여기서 C_i는 각 전문가의 압축 비율이다. 이 손실은 자동으로 전문가 선택을 다양화하고, 과도한 한 종류 전문가에 대한 편향을 방지한다.

연산 효율성 분석에서는 MHA와 FFN 레이어의 FLOPs를 기준으로, 토큰 수 n_i가 레이어마다 다르게 변함에 따라 전체 FLOPs가 어떻게 감소하는지를 정량화한다. 실험에서는 DPN이 평균 56% FLOPs 절감을 달성했으며, 특히 고해상도 이미지 처리에 강점을 보였다.

성능 측면에서는 LLaVA와 LLaVA‑HR 두 모델에 DPN을 적용해 10개의 벤치마크(예: VQA‑v2, GQA, ScienceQA, TextVQA, MME, MM‑VET 등)에서 기존 베이스라인 대비 0.5~0.8%p 정도의 정확도 향상을 기록했다. 특히 어려운 샘플에 대해 더 높은 압축 비율을 선택하지 않음으로써 성능 저하를 방지하고, 쉬운 샘플에서는 Aggressive한 풀링을 적용해 연산량을 크게 절감했다. 또한, DPN‑LLaVA‑HR‑X는 기존 LLaVA‑HR‑X 대비 1.4배 빠른 추론 속도와 +0.62%p 성능 향상을 보였다.

학습 비용 측면에서도 장점이 있다. 기존 MoE‑기반 효율화 방법은 별도의 전문가 라우팅 학습 단계가 필요했으나, DPN은 기존 비전‑텍스트 정렬 단계와 동일한 사전 학습 가중치를 그대로 재사용하고, 시각 지시 튜닝 단계에서 라우터와 풀링 전문가만 추가 학습하면 된다. 따라서 추가적인 대규모 사전 학습 비용이 거의 들지 않는다.

전체적으로 DPN은 (1) 시각 토큰을 계층적으로 압축해 얕은 레이어에서 세밀한 정보를 유지, (2) 라우터와 라우팅 손실을 통해 샘플별 최적 압축 비율을 동적으로 선택, (3) 기존 MLLM 파이프라인에 최소한의 구조 변경만으로 적용 가능하다는 세 가지 핵심 기여를 제공한다. 이는 멀티모달 모델이 실시간 서비스나 모바일 환경에 적용될 때 발생하는 연산·메모리 제약을 크게 완화할 수 있는 실용적인 솔루션이라 할 수 있다.