멀티모달 오류 추론 벤치마크 MMErroR 발표

초록

MMErroR는 2,013개의 이미지‑질문‑추론 체인 샘플에 단일 오류를 삽입한 멀티모달 벤치마크로, 시각·언어 모델이 오류 존재 여부와 오류 유형(시각 인식, 지식 적용, 질문 이해, 논리 추론)을 판별하도록 설계되었습니다. 20개 최신 VLM을 평가한 결과 최고 모델인 Gemini‑3.0‑Pro조차 오류 유형을 정확히 분류한 비율이 66.47%에 불과함을 보여, 현재 모델들의 오류 인식·진단 능력이 크게 부족함을 강조합니다.

상세 분석

MMErroR는 기존 멀티모달 평가가 정답 정확도에만 초점을 맞춘 데 반해, “프로세스 수준” 오류 탐지를 목표로 하는 최초의 대규모 벤치마크입니다. 데이터는 MMMU, MathVista, ScienceQA 등 5개 공개 데이터셋에서 이미지‑질문‑답변 쌍을 추출하고, GPT‑5를 활용해 사전 정의된 4가지 오류 유형 중 하나를 자연스럽게 삽입하는 하이브리드 생성 파이프라인을 거칩니다. 오류 삽입 후에는 20명의 도메인 전문가 3라운드 인간 검증을 수행해 오류의 일관성·명확성을 확보했으며, 최종 2,013개의 고품질 샘플을 확보했습니다.

평가 프로토콜은 두 가지 모드로 구성됩니다. ① Error‑Type Classification(ETC)에서는 오류가 존재한다는 전제 하에 모델이 정확히 어느 유형인지 선택하도록 요구하고, ② Error‑Presence Detection(EPD)에서는 먼저 오류 존재 여부를 판단한 뒤 필요 시 유형을 진단하도록 합니다. 이는 모델이 “오류를 인식”하고 “오류를 설명”하는 두 단계 능력을 각각 측정할 수 있게 합니다.

실험에서는 20개의 최신 VLM을 두 그룹(Thinking‑less vs. Thinking‑enabled)으로 나누어 비교했습니다. 전통적인 직접 응답형 모델은 평균 35~55% 수준에 머물렀으며, Gemini‑3.0‑Pro와 Claude‑4‑Sonnet 같은 고성능 모델도 ETC에서 최고 66.67%에 불과했습니다. 특히 Knowledge Deployment Error가 전체의 48%를 차지해, 외부 지식 활용 과정에서의 취약성이 가장 크게 드러났습니다. 인간 전문가(높은 수준)는 90% 이상의 정확도를 보였으며, 이는 현재 모델이 인간 수준의 오류 진단에 크게 미치지 못함을 의미합니다.

이 결과는 VLM이 이미지와 텍스트를 “표면적으로” 연결하는 데는 강하지만, 내부 추론 과정의 논리적 일관성·지식 적용·시각 grounding을 스스로 검증·수정하는 메타인지 능력은 아직 미비함을 시사합니다. 또한 오류 유형별 성능 차이를 통해, 시각 인식 오류는 비교적 잘 탐지되는 반면, 질문 이해와 지식 적용 오류는 여전히 어려운 과제로 남아 있음을 확인했습니다.

MMErroR는 오류 유형별 성능을 정량화함으로써 향후 모델 설계 시 “오류 감지 모듈”이나 “자기 교정 메커니즘”을 도입하는 구체적 로드맵을 제공할 뿐 아니라, 멀티모달 추론의 신뢰성을 평가하는 새로운 표준을 제시합니다.