당신은 나를 보나요? MLLM의 시각 인식 능력을 측정하는 다차원 벤치마크

초록

멀티모달 대형 언어 모델(MLLM)은 추론 능력을 보이지만, 시각 인식은 심각한 취약점입니다. 논문은 정답을 맞췄음에도 시각 요소를 오해하는 ‘인식 실패 은닉’ 현상을 발견하고, 이를 체계적으로 평가하기 위한 벤치마크 ‘Do You See Me’를 소개합니다. 인간 심리학 테스트에서 영감을 얻은 7가지 하위 작업으로 구성된 이 벤치마크는 프로그램적으로 생성된 1,758개 이미지와 2,612개 질문을 포함합니다. 평가 결과, 인간은 96% 정확도를 보인 반면 최고 성능 MLLM도 50% 미만으로, 난이도가 증가할수록 격차가 벌어졌습니다. 이는 MLLM의 시각 인식이 근본적으로 취약하며, 패치 해상도 수준의 세부 정보 처리와 시각 주의 할당에 문제가 있음을 시사합니다.

상세 분석

본 논문이 제시하는 ‘Do You See Me’ 벤치마크의 기술적 핵심은 인간의 시지각 능력을 체계적으로 분해하여 MLLM의 해당 능력을 고립 평가할 수 있는 프레임워크를 구축했다는 점입니다. 기존 벤치마크가 종합적인 멀티모달 이해나 추론을 평가하는 데 중점을 둔 반면, 본 연구는 시각 ‘인식’ 자체에 초점을 맞추어 인식 실패가 추론 성공에 의해 가려지는 문제를 해결했습니다.

벤치마크 설계의 핵심 기둥은 다음과 같습니다:

1. 심리학 기반 작업 정의: 시각 구별, 형상-배경 지각, 공간 관계, 형태 항상성 등 인간 시지각의 7가지 핵심 능력에 각각 대응하는 작업을 설계했습니다. 이는 MLLM의 능력을 인간의 인지 체계와 비교할 수 있는 표준화된 틀을 제공합니다.
2. 프로그래밍적 생성과 난이도 제어: 모든 이미지와 질문을 SVG와 Blender를 이용해 프로그램적으로 생성함으로써 데이터 오염 가능성을 제거하고 확장성을 보장했습니다. 더욱 중요한 것은 각 하위 작업마다 객체 수, 밀도, 회전 각도, 노이즈 수준 등의 파라미터를 조절해 난이도를 연속적으로 조정할 수 있다는 점입니다. 이를 통해 모델 성능이 난이도에 따라 어떻게 저하되는지 정량적으로 분석할 수 있습니다.
3. 2D와 포토리얼리스틱 3D의 이중 평가: 단순한 2D 기하 도형과 복잡한 3D 렌더링 장면 모두에서 평가를 진행하여 모델의 인식 능력이 추상적 환경과 현실적 환경에서 어떻게 달라지는지 비교했습니다.

실험 결과에서 드러난 주요 통찰은 다음과 같습니다:

• 성능 격차: 인간 평균 95.83% 대비 최고 MLLM(GPT-4o) 평균 48.75%라는 엄청난 격차는 현재 MLLM의 시각 인식이 인간 수준에 훨씬 미치지 못함을 보여줍니다.
• 난이도 취약성: 형태 항상성 작업에서 난이도가 증가함에 따라 GPT-4o의 성능이 45%에서 12%로 급락하는 등, 복잡도 증가에 따른 성능 저하가 선형이 아닌 급격한 곡선을 보입니다. 이는 MLLM의 인식이 표면적이고 취약함을 의미합니다.
• 실패 근본 원인: 분석에 따르면 실패는 (1) 시각 주의를 관련 없는 배경이나 객체에 잘못 할당하는 문제, (2) Vision Encoder의 패치 토큰화 과정에서 미세한 세부 정보가 손실되는 문제, (3) Chain-of-Thought 사용 시 풍부한 시각 정보가 단순화된 텍스트로 ‘손실 압축’되는 문제에서 기인합니다.
• 데이터 한계: 대규모 지도 미세조정(SFT)을 통한 성능 향상이 약 11%에 그쳐, 단순한 데이터 확장으로는 이러한 근본적인 인식 한계를 해결하기 어렵다는 점을 시사합니다.

이 연구는 MLLM 개발이 고수준 추론에만 집중할 것이 아니라, 이를 지탱하는 시각 인식 기반을 강화해야 할 시급함을 촉구합니다. ‘인식 실패 은닉’ 현상은 정확한 최종 답변만으로는 MLLM의 진정한 이해력을 판단할 수 없음을 경고하며, 본 논문의 벤치마크는 향후 모델의 시각 인식 견고성을 측정하고 개선하는 데 중요한 기준점이 될 것입니다.