LMM의 한계를 드러낸 MOAT: 복합 능력 통합과 지시문 이해 평가의 새로운 기준

초록

연구팀은 대규모 멀티모달 모델(LMM)의 실제 적용을 가로막는 핵심 한계, 즉 여러 시각-언어 능력의 통합과 복잡한 텍스트/시각 지시문 이해 능력의 부족을 평가하기 위한 새로운 벤치마크 ‘MOAT’를 제안했습니다. 1005개의 도전적인 실생활 질문과 9가지 세분화된 능력 체계를 통해 17개 LMM을 평가한 결과, 최고 성능 모델의 정확도는 44%에 불과했으며, 특히 세기, 공간 관계 이해, 지시문 이해에서 취약점이 두드러졌습니다.

상세 분석

본 논문이 제시하는 MOAT 벤치마크의 기술적 분석과 핵심 통찰은 다음과 같습니다.

첫째, 평가 체계의 혁신적 설계에 주목할 필요가 있습니다. 기존 벤치마크가 단일 능력 평가에 치우치거나 포괄적이지만 실생활 복잡도를 반영하지 못한 반면, MOAT는 ‘일반주의자 문제 해결’에 초점을 맞춥니다. 하나의 질문이 최대 6개의 VL 능력(예: 텍스트 읽기(OCR) + 객체 세기(CNT) + 공간 관계(RLA) + 텍스트 지시 이해(GNDT))을 동시에 요구하도록 설계하여, 모델이 각 능력을 개별적으로는 보유하더라도 이를 통합하여 적용하는 ‘실전 능력’을 측정합니다. 이는 LMM을 단순한 인식 도구가 아닌, 실제 문제를 해결하는 에이전트로 사용하고자 할 때 반드시 필요한 평가 관점입니다.

둘째, ‘지시문 이해(Grounding)’ 능력의 명시적 평가는 실용적 관점에서 매우 의미 있습니다. 복잡한 텍스트 규칙(GNDT, 예: 양궁 과녁 점수 계산법)이나 레고 조립 설명서 같은 시각적 매뉴얼(GNDV)을 이해하고 이미지에 적용하는 능력은 실제 응용(로봇 조작, 데이터 분석 도구 등)의 핵심입니다. MOAT는 이를 체계적으로 평가하는 최초의 벤치마크로서, 모델이 지시문을 ‘읽는’ 수준을 넘어 실제 작업 문맥에 ‘적용’하는 능력의 부재를 정량적으로 드러냈습니다.

셋째, 진단적 분석을 통한 구체적 한계 규명이 강점입니다. 논문은 낮은 정확도의 원인을 ‘텍스트 중심 사고(Text-centric Reasoning)’, ‘병목 현상을 일으키는 특정 VL 능력’, ‘타일링(Tiling)의 유해한 영향’이라는 세 가지 축에서 분석합니다. 특히, 사고 과정(CoT)을 유도하는 것이 시각/공간 이해가 필요한 작업에서는 오히려 성능을 저하시킬 수 있다는 발견은, LMM의 추론 메커니즘이 여전히 언어 모델(LLM)에 과도하게 의존하고 있음을 시사합니다. 또한, 이미지를 Vision Encoder의 타일 크기로 리사이즈하여 타일링을 피하면 객체 세기 능력이 향상된다는 실험 결과는, LMM 아키텍처(특히 Vision Encoder의 전처리 방식)가 특정 VL 능력에 미치는 부정적 영향을 경고하며, 향후 모델 설계에 중요한 지침을 제공합니다.

종합하면, MOAT는 LMM 연구가 ‘벤치마크 점수 경쟁’을 넘어 ‘실제 유용한 능력’ 구축으로 나아가야 함을 촉구합니다. 44%라는 낮은 정확도는 LMM이 아직 인간의 직관적인 시각-언어 문제 해결 능력에 크게 미치지 못함을 보여주며, 복합 능력 통합과 지시문 이해라는 두 가지 핵심 과제를 해결하지 않고는 진정한 ‘일반주의 AI’로의 도약이 어렵다는 점을 명확히 합니다.