멀티모달 AI의 함정, SpurLens로 본 착시 현상

초록

멀티모달 대형언어모델(MLLM)도 시각 모델과 마찬가지로 객체 인식에 유용하지 않은 ‘스퓨리어스 큐’에 과도하게 의존한다는 것을 밝힌 연구. 연구팀은 GPT-4와 객체 감지기를 활용해 인간의 개입 없이 이러한 오류 유발 단서를 자동 탐지하는 파이프라인 ‘SpurLens’를 제안했다. 실험 결과, 스퓨리어스 큐가 MLLM의 객체 인식 정확도 하락과 객체 환각 현상을 크게 증폭시킨다는 두 가지 주요 실패 모드를 확인했다.

상세 분석

본 논문은 단일 모달리티 비전 모델에서 잘 알려진 ‘스퓨리어스 상관관계’ 문제가 언어 감독을 받는 멀티모달 대형언어모델(MLLM)에서도 여전히 지속되고 있음을 실험적으로 증명한 중요한 연구이다. 핵심 기여는 스퓨리어스 큐의 자동 탐지 프레임워크 ‘SpurLens’를 제안한 점에 있다. SpurLens는 기존 방법과 달리 인간의 수작업 라벨링이나 제한된 사전 정의된 특징 집합에 의존하지 않는다. 그 대신, 1) GPT-4를 이용해 대상 객체와 자주 함께 나타나는 배경 요소(스퓨리어스 후보)를 자연어로 생성하고, 2) OWLv2 같은 오픈셋 객체 감지기를 이용해 이미지 데이터셋 내에서 각 후보의 존재 여부를 정량화하여 이미지를 순위 매긴다. 이 ‘spuriosity ranking’을 통해 특정 스퓨리어스 특징이 존재하는 이미지(top-K)와 존재하지 않는 이미지(bottom-K)를 선별할 수 있다.

이를 바탕으로 논문은 MLLM의 두 가지 체계적인 실패를 정량화한다. 첫째, ‘객체 인식 과의존’으로, 스퓨리어스 큐가 제거되면 인식 정확도(Percetion Accuracy)가 크게 하락한다. 예를 들어 GPT-4o-mini는 COCO 데이터셋에서 스퓨리어스 큐가 있을 때 88.0%, 없을 때 67.6%의 정확도를 보여 20.4%p의 격차(PA Gap)를 확인했다. 이는 모델이 객체 자체의 본질적 특징보다는 배경 맥락에 의존해 판단함을 의미한다. 둘째, ‘객체 환각 촉진’으로, 객체가 없어도 스퓨리어스 큐만 존재하면 해당 객체를 있다고 답할 확률(Hallucination Rate)이 급증한다. 동일 모델에서 스퓨리어스 큐가 있을 때와 없을 때의 환각률 차이(HR Gap)가 최대 26배에 달했다.

또한 논문은 단순한 진단을 넘어 근본 원인 탐구와 완화 방안 실험을 수행했다. 애블레이션 연구를 통해 스퓨리어스 편향이 비전 인코더 단계부터 내재되어 있으며, 프롬프트 앙상블이나 추론 기반 프롬프팅 같은 간단한 전략으로는 근본적인 해결이 어렵다는 점을 보였다. 이는 MLLM의 신뢰성 향상을 위해서는 모델 아키텍처와 학습 데이터 차원의 개선이 필요함을 시사한다. SpurLens는 MLLM의 취약점을 자동화되고 해석 가능한 방식으로 평가할 수 있는 강력한 도구를 제공하며, 향후 더 견고한 멀티모델 AI 개발을 위한 기준 마련에 기여할 수 있다.