차트뮤지엄: 대형 시각‑언어 모델의 시각적 추론 능력 평가

초록

본 논문은 차트 이해를 위한 새로운 벤치마크인 ChartMuseum을 소개한다. 1,162개의 실세계 차트와 4가지 추론 유형(텍스트, 시각, 텍스트·시각 혼합, 종합)으로 구성된 질문을 통해 최신 LVLM들의 시각적 추론 한계를 정량화하고, 인간과의 성능 격차를 밝힌다. 합성 데이터 실험을 통해 시각 복잡도가 증가할수록 모델 성능이 급격히 떨어지는 반면 인간은 안정적인 성능을 유지함을 보인다.

상세 분석

본 연구는 크게 세 부분으로 구성된다. 첫 번째는 기존 차트 QA 벤치마크가 텍스트 추출에 과도하게 의존한다는 점을 실증한다. 이를 위해 저자들은 Claude‑3.7‑Sonnet을 이용해 ChartQA와 ChartMuseum 두 데이터셋에서 차트에 명시된 텍스트만 추출한 뒤, 이미지 없이 질문에 답하도록 했다. 결과는 ChartQA에서는 텍스트만으로도 74.1%의 정확도를 보였지만, ChartMuseum에서는 15.2%에 불과했다. 이는 ChartMuseum이 시각적 정보를 텍스트로 대체할 수 없는 질문을 많이 포함하고 있음을 의미한다.

두 번째는 시각적 추론 전용 합성 데이터셋을 설계한 것이다. 히스토그램, 밀도 플롯, 라인, 스캐터, 바이올린 등 5가지 차트 유형에 대해 오버레이와 서브플롯 두 가지 시각 복잡도 설정을 만들고, n=3~9개의 그래프가 겹치거나 배열된 상황을 제시했다. Claude‑3.7‑Sonnet은 n이 증가함에 따라 정확도가 급감했으며, 특히 오버레이 설정에서 인간보다 30% 이상 낮은 성능을 보였다. 반면 인간은 n이 변해도 95% 이상 일관된 정확도를 유지했다. 이는 현재 LVLM이 시각적 패턴 인식·비교 능력이 제한적이며, 복잡한 시각 구조를 처리하는 데 큰 어려움을 겪는다는 강력한 증거다.

세 번째는 실세계 차트 기반 벤치마크 ChartMuseum 자체의 설계와 평가 결과이다. 13명의 컴퓨터 과학 연구자가 184개 웹사이트에서 928개의 차트를 수집하고, 각 차트에 대해 최소 4개의 답변 옵션을 갖는 객관적 질문을 직접 작성했다. 질문은 텍스트 추론, 시각 추론, 텍스트·시각 혼합, 종합 추론 네 가지 카테고리로 라벨링되었으며, ‘왜/어떻게’와 같은 주관적 질문은 배제했다.

평가에서는 10개의 오픈소스 LVLM과 11개의 상용 모델을 시험했으며, 최고 성능을 보인 Gemini‑2.5‑Pro는 63.0%, 가장 강력한 오픈소스 모델 Qwen2.5‑VL‑72B‑Instruct는 38.5%의 정확도를 기록했다. 인간은 93%의 정확도를 달성했으며, 특히 텍스트 추론 질문에서는 95% 이상, 시각 추론 질문에서는 5570% 수준으로 차이가 뚜렷했다. 모델들은 시각 추론 질문에서 3555%의 성능 저하를 보였으며, 오류 분석 결과 시각적 비교, 마커 기반 객체 식별, 라인 궤적 추론 등에서 일관적으로 실패했다.

이러한 결과는 LVLM이 텍스트 기반 추론에서는 급속히 발전했지만, 차트와 같은 복합 시각-텍스트 도메인에서는 여전히 큰 격차가 존재함을 시사한다. 특히 시각적 복잡도가 높아질수록 모델의 성능이 급격히 감소한다는 점은 향후 모델 설계 시 시각 인코더의 표현 용량 확대와 멀티‑스텝 시각 추론 메커니즘 도입이 필요함을 강조한다. 또한, 인간 수준의 시각적 직관을 모방하기 위해서는 시각적 패턴 인식과 정량적 추출을 동시에 수행할 수 있는 학습 전략이 요구된다.