모델 병합으로 간편하게 멀티모달 데이터 혼합 최적화

초록

본 논문은 도메인별로 파인튜닝된 멀티모달 전문가 모델들을 선형 가중 평균으로 병합해, 실제 데이터 혼합으로 학습한 모델의 성능을 저비용 프록시로 추정한다. 14개의 멀티모달 벤치마크에서 병합 모델과 실제 혼합 모델 간의 순위 상관계수가 0.57~0.78에 달함을 보이며, 데이터 혼합 최적화(DMO) 문제를 효율적으로 해결할 수 있음을 입증한다.

상세 분석

이 연구는 멀티모달 대형 언어 모델(MLLM)의 슈퍼바이즈드 파인튜닝(SFT) 단계에서 데이터 혼합 비율을 최적화하는 문제, 즉 Data Mixture Optimization(DMO)를 새로운 관점에서 접근한다. 기존 방법들은 여러 도메인 데이터를 섞어 학습한 뒤 성능을 평가하는 방식으로, 후보 혼합 비율마다 전체 파인튜닝을 반복해야 하므로 계산 비용이 기하급수적으로 증가한다. 저자는 이러한 비용을 줄이기 위해 “모델 병합”이라는 파라미터 수준의 선형 결합을 활용한다. 구체적으로 K개의 도메인별 전문가 모델 θ₁…θ_K를 각각 별도 파인튜닝하고, 후보 혼합 비율 w에 대해 θ_M(w)=∑ₖ w_k θ_k 로 선형 가중 평균을 만든다. 이 병합 모델을 실제 혼합 데이터로 학습한 모델 θ*₍w₎의 성능 대신 평가 지표 f(θ_M(w))로 사용한다. 핵심 가정은 순위 보존성으로, 병합 모델이 실제 모델보다 절대 성능은 낮을 수 있으나, 서로 다른 혼합 비율 간의 상대적 순서는 유지된다는 것이다.

실험은 두 가지 최신 멀티모달 모델(Qwen2‑VL, Intern3.5‑VL)과 2B·8B 파라미터 규모, LoRA와 Full‑Fine‑Tuning 두 학습 방식, 그리고 24개의 도메인(General, OCR, Visual Perception, Charts) 조합을 대상으로 진행되었다. 23개의 SFT 데이터셋을 4개의 카테고리로 분류해 각 카테고리당 100k 샘플을 구성하고, 14개의 벤치마크(GQA, VQA‑v2, OCR‑Bench 등)에서 성능을 측정했다. 결과는 다음과 같다. 첫째, 도메인 수가 늘어나도 순위 상관계수는 0.740.78 수준으로 높은 일관성을 보였다. 둘째, 전문가 모델을 전체 데이터 예산(100k)보다 적은 양(10k, 50k)으로 학습해도 병합 프록시의 상관성이 크게 감소하지 않았다. 셋째, 기존 회귀 기반 DMO 방법(Li et al., 2025)과 비교했을 때, 병합 프록시는 학습 비용이 도메인 수에 비례하는 정도로 훨씬 효율적이며, 성능 예측 정확도에서도 경쟁력을 유지한다.

이론적 분석에서는 손실 함수 L(θ, D_w)를 혼합 비율 w에 대해 2차 테일러 전개하고, 지역적인 볼록성 가정 하에 L(θ_M(w))≈∑ₖ w_k L(θ_k, D_k) 라는 근사를 도출한다. 이는 선형 병합이 실제 혼합 학습 손실을 근사함을 수학적으로 뒷받침한다. 실험적 검증을 통해 이 근사가 실제 모델 행동과 잘 맞는 것을 확인하였다.

전체적으로 이 논문은 “모델 병합 = 데이터 혼합 성능 프록시”라는 간단하면서도 강력한 아이디어를 제시한다. DMO 문제를 파라미터 공간에서 해결함으로써, 수십 개의 도메인과 다양한 비율 조합을 탐색할 때 필요한 GPU·시간 비용을 크게 절감한다. 또한, 전문가 모델을 사전에 준비해두면 새로운 도메인 추가나 목표 벤치마크 변화에도 빠르게 재조정이 가능하다는 실용적 장점이 있다. 향후 연구에서는 비선형 병합, 가중치 학습, 혹은 메타러닝 기반의 자동 병합 전략을 도입해 프록시 정확도를 더욱 높이는 방향이 기대된다.