데이터프레오: 멀티모달 LLM의 감독 데이터 일반화 예측

초록

본 논문은 멀티모달 대형 언어 모델(MLLM)의 성능에 가장 큰 영향을 미치는 감독 데이터의 선택 문제를 다룬다. 14개의 비전‑언어 데이터셋을 7개의 작업군에 걸쳐 실험한 결과, 직관적인 작업 유사성은 실제 전이 효과를 예측하지 못함을 확인하였다. 대신 데이터셋 자체의 특성—멀티모달 퍼플렉시티, 시각·텍스트 유사도, 데이터 다양성—을 결합한 훈련‑프리 메트릭인 DATAPROPHET을 제안한다. 이 메트릭은 실제 fine‑tuning 후 얻은 성능 향상 순위와 86 %의 Kendall’s τ 상관관계를 보이며, 동일한 계산 예산 하에서 기존 방법보다 최대 6.9 %까지 성능을 끌어올린다.

상세 분석

논문은 먼저 “감독 데이터가 목표 벤치마크에 미치는 영향”을 정량화하기 위해, InternVL3‑2B 모델을 베이스라인으로 삼고 14개의 비전‑언어 데이터셋을 각각 단독으로 fine‑tuning하였다. 각 데이터셋은 OCR, 차트 이해, 문서 이해, 일반 VQA, 공간 추론, 카운팅, 지도 추론이라는 7가지 작업군에 속하며, 각 작업군마다 두 개의 데이터셋이 존재한다. 실험 설정은 모든 데이터셋에 대해 동일한 20 k 학습 샘플과 1 k 테스트 샘플을 사용하고, 학습 하이퍼파라미터와 계산량을 고정함으로써 순수한 데이터 특성의 차이만을 평가하도록 설계되었다.

결과는 세 가지 주요 인사이트를 제공한다. 첫째, “작업 유사성”에 기반한 직관적 선택은 전이 효과를 예측하지 못한다. 예를 들어 OCR‑VQA 데이터가 같은 OCR 작업인 ScreenQA보다 지도 이해 작업인 GeomVerse에 더 큰 성능 향상을 가져왔다. 둘째, 데이터 영향력은 대칭적이지 않다. 동일한 두 데이터셋 사이에서도 Δs→t와 Δt→s가 크게 달라, 한쪽에서의 학습이 다른 쪽에 미치는 효과가 비대칭임을 확인했다. 셋째, 같은 작업군에 속하는 데이터셋이라도 서로에게 가장 큰 영향을 주지는 않는다. 이는 “작업 카테고리”보다는 개별 데이터셋의 내재적 특성이 전이 성능을 좌우한다는 강력한 증거다.

이러한 관찰을 바탕으로 저자들은 데이터 영향력을 예측할 수 있는 훈련‑프리 메트릭을 설계했다. DATAPROPHET은 네 가지 요소를 결합한다. (1) 멀티모달 퍼플렉시티 – 텍스트와 이미지 양쪽에서 모델이 해당 샘플을 얼마나 예측하기 어려운가를 측정한다. (2) 텍스트 유사도 – 사전 학습된 텍스트 임베딩을 이용해 감독 데이터와 목표 데이터 간 의미적 거리를 계산한다. (3) 시각 유사도 – CLIP‑ 기반 이미지 임베딩을 활용해 시각적 특성의 일치도를 평가한다. (4) 데이터 다양성 – 클러스터링 기반 엔트로피 혹은 평균 거리 등을 통해 데이터셋 내부의 변이성을 정량화한다. 이 네 요소는 선형 가중합 형태로 결합되며, 가중치는 작은 검증 셋을 통해 최적화된다.

평가에서는 DATAPROPHET이 실제 fine‑tuning 후 얻은 Δ값 순위와 86 % Kendall’s τ 상관을 보였으며, 특히 퍼플렉시티와 시각 유사도가 각각 37.3 %와 23.5 %의 상관 개선에 가장 크게 기여했다. 또한, 이 메트릭을 이용해 고정된 데이터 양(예산) 하에서 최적의 감독 데이터를 선택했을 때, 무작위 선택 대비 평균 3.4 %·6.9 %(실제·합성 데이터) 향상을 달성했고, 최신 훈련 기반 선택 기법인 ICONS보다 각각 1.4 %·1.2 % 높은 성능을 기록했다. 심지어 “오라클”(실험 기반 최적 선택)보다도 0.2 % 앞서는 결과를 보여, 훈련‑프리 방식임에도 불구하고 거의 최적에 근접함을 입증한다.

이 논문은 멀티모달 LLM 개발에서 데이터 선택이 얼마나 중요한지를 실험적으로 증명하고, 직관에 의존하던 기존 관행을 데이터‑드리븐 메트릭으로 대체할 수 있음을 보여준다. 특히, 대규모 멀티모달 모델을 구축할 때 데이터 라벨링 비용과 계산 자원을 절감하면서도 성능을 극대화할 수 있는 실용적인 프레임워크를 제공한다는 점에서 학계·산업 모두에 큰 파급 효과를 기대한다.