멀티모달 추론 모델의 사고는 합리적인가

초록

본 논문은 최신 멀티모달 대형 언어 모델(MLLM)이 중간 단계의 사고(Chain‑of‑Thought, CoT)에서 발생하는 환각을 체계적으로 측정하기 위해 MM‑THEBench라는 벤치마크를 제안한다. 인지적 차원(지식·지각·추론) 기반의 세밀한 환각 분류 체계와 자동화된 다단계 평가 파이프라인을 구축하고, 1,340개의 이미지·비디오 질문에 대해 인간·모델 검증된 정답 체인을 제공한다. 실험 결과, 최신 Reasoning MLLM들은 최종 정답 정확도는 높지만 중간 CoT에서 지식·지각·추론 환각이 빈번히 발생하며, 특히 추론 환각이 최종 오류와 강하게 연관됨을 밝혀냈다.

상세 분석

MM‑THEBench는 멀티모달 추론 모델이 “생각” 과정에서 얼마나 신뢰할 수 있는지를 정량화하려는 시도다. 기존 벤치마크가 최종 정답만을 평가하고 중간 사고 과정을 무시한 반면, 본 연구는 CoT를 세 단계(답변‑수준, 단계‑수준, 루브릭‑수준)로 나누어 자동 평가한다. 핵심은 인지적 차원(Knowledge, Perception, Reasoning)과 그 하위 서브카테고리를 정의한 2‑레벨 환각 taxonomy이다. 예를 들어 Knowledge는 세계 지식·상식·도메인 지식으로, Perception은 인식·OCR·공간·계산·음성·그라운딩·시간 등으로 세분화한다. 이러한 세분화는 모델이 어느 단계에서 어떤 종류의 오류를 범했는지 정확히 파악하게 해준다.

데이터 구축 과정에서도 주목할 점이 있다. 기존 고품질 멀티모달 데이터셋(예: MathVision, MM‑vet‑v2, MMMU‑pro 등)을 재구성하여 1,340개의 질문을 선정하고, Gemini‑2.5‑pro를 이용해 초기 CoT를 자동 생성한 뒤 인간 annotator가 검증·수정한다. 이렇게 인간‑기계 하이브리드 파이프라인을 사용함으로써 대규모·고품질의 “정답 체인”을 확보하면서도 비용을 절감했다.

평가 파이프라인은 LLM‑as‑Judge 방식을 채택, Qwen‑3‑32B를 판정 모델로 활용한다. 판정 모델은 (1) 최종 답변 추출, (2) CoT 단계 분할, (3) 단계 매칭, (4) 루브릭 기반 점수 산출을 수행한다. 자동화된 판정은 인간 판정과 높은 상관관계를 보이며, 대규모 모델 비교를 가능하게 한다.

실험 결과는 두 가지 중요한 인사이트를 제공한다. 첫째, 최신 Reasoning MLLM(GPT‑5, OpenAI‑o3 등)은 최종 정답 정확도는 80% 이상이지만, 중간 CoT에서 평균 27/30의 Hallucination‑free 점수를 기록, 즉 약 10% 정도의 단계에서 환각이 발생한다. 둘째, 환각 유형별 영향을 분석했을 때, Perception 환각은 가장 빈번하지만 최종 오류와의 연관성이 낮은 반면, Reasoning 환각(특히 공간·연역·인과 관계)과 Knowledge‑Reasoning 혼합 환각은 정답 오류와 강한 상관관계를 보였다. 특히 공간 관련 환각이 전체 환각 중 40% 이상을 차지해, 시각적 공간 추론이 현재 모델의 취약점임을 시사한다.

이러한 결과는 “생각이 길어질수록 신뢰성이 떨어진다”는 기존 가설을 뒷받침하며, 모델 개발 단계에서 중간 CoT를 모니터링하고, 환각‑감지 모듈을 삽입하는 것이 필요함을 강조한다. 또한, MM‑THEBench 자체가 향후 멀티모달 추론 모델의 지속적인 평가와 개선을 위한 표준 프로토콜로 활용될 가능성을 보여준다.