적응형 멀티모달 추론 벤치마크

초록

본 논문은 비전‑언어 모델(VLM)의 적응형 멀티모달 추론 능력을 평가하기 위해 다섯 분야(실제 이미지, OCR, GUI, 지식, 수학)에서 1,420개의 샘플로 구성된 AdaptMMBench를 제안한다. 모델이 텍스트‑기반 추론과 도구‑보강 시각 추론을 상황에 맞게 선택하는 메타‑인지 능력을 Matthews Correlation Coefficient(MCC)로 측정하고, 추론 과정의 핵심 단계 커버리지, 도구 활용 효율성, 계산 비용 등을 다차원적으로 분석한다. 실험 결과, 적응형 모드 선택은 모델 규모와 양의 상관관계가 있지만 최종 정확도와는 약한 연관성을 보이며, 핵심 단계 커버리지는 정확도와 높은 상관성을 나타낸다.

상세 분석

AdaptMMBench는 기존 벤치마크가 정적인 난이도 라벨과 최종 정확도만을 평가하는 한계를 극복하기 위해, ‘난이도는 모델에 따라 동적으로 변한다’는 전제 하에 설계되었다. 이를 위해 각 샘플에 (이미지, 질문, 정답, 시각 도구 어노테이션, 핵심 추론 단계)라는 5‑tuple을 제공하고, 모델이 실제 추론 시 도구를 호출해야 하는지 여부를 명시한다.
모드 선택 평가에 MCC를 도입한 점이 핵심이다. MCC는 TP, TN, FP, FN을 모두 고려해 불균형 데이터에서도 신뢰할 수 있는 상관 계수를 제공한다. 여기서 TP는 모델이 어려운 샘플에 대해 올바르게 도구‑보강 모드를 선택한 경우, FN은 어려운 샘플을 텍스트‑전용으로 잘못 판단한 경우, FP는 쉬운 샘플에 불필요하게 도구를 호출한 경우, TN은 쉬운 샘플을 텍스트‑전용으로 정확히 판단한 경우를 의미한다. 이렇게 정의된 MCC는 모델의 ‘난이도 인식 메타‑인지’ 능력을 정량화한다.
추론 과정 평가는 세 축으로 이루어진다. 첫째, 핵심 단계 커버리지는 인간이 제공한 K(키 스텝)와 모델이 실제 생성한 추론 단계 간의 일치도를 측정한다. 둘째, 도구 효율성은 호출된 도구가 실제로 필요한 시각 정보를 제공했는지, 즉 도구 실행 성공 여부와 정답에 기여했는지를 평가한다. 셋째, 효율성(Computational Efficiency)은 토큰 수, 추론 턴 수, 도구 호출 횟수 등을 종합해 계산 비용을 산출한다.
실험에서는 공개 모델(GPT‑5, Qwen3‑VL‑23.5B 등)과 폐쇄형 모델을 모두 평가했으며, 결과는 흥미로운 패턴을 보여준다. 모델 규모가 커질수록 MCC 점수가 상승해 적응형 모드 선택 능력이 향상되지만, 최종 정확도와의 상관관계는 낮다. 이는 모델이 ‘언제 도구를 써야 하는가’를 잘 판단하더라도, 실제 도구 활용이나 추론 단계 설계가 충분히 최적화되지 않았기 때문이다. 반면, 핵심 단계 커버리지는 정확도와 강한 양의 상관관계를 보이며, 이는 인간이 정의한 논리 흐름을 모델이 얼마나 충실히 재현하는지가 성능에 직접적인 영향을 미침을 의미한다. 도구 효율성은 모델 아키텍처에 따라 크게 차이 나며, 일부 모델은 도구 호출은 많지만 실제 정보 획득에 실패하는 경우가 빈번했다.
이러한 분석을 통해 논문은 적응형 멀티모달 추론 연구에서 ‘모드 선택 메타‑인지’와 ‘추론 과정 품질’이 별개의 연구 과제로 다루어져야 함을 강조한다. 또한, MCC 기반 난이도 평가와 다차원 프로세스 메트릭은 향후 VLM 개발 및 벤치마크 설계에 중요한 기준이 될 것으로 기대된다.