분포 기반 차트 VQA를 위한 새로운 벤치마크와 인간·모델 비교 연구

초록

본 논문은 차트 이미지와 그 기저 데이터 사이에 1:1 대응이 없는 경우를 다루는 “분포 기반” VQA 데이터셋의 필요성을 제기한다. 저자들은 합성 히스토그램을 생성하고, 인간 annotator와 최신 대형 멀티모달 모델(GPT‑5‑nano)을 대상으로 중위값과 가우시안 혼합 개수 추정 질문을 수행한다. 실험 결과는 모델이 통계 배경을 가진 인간과 비슷한 수준의 정확도를 보이며, 히스토그램 바 수와 가우시안 개수가 증가할수록 오류가 커지는 경향을 확인한다. 데이터셋과 코드가 공개되어 향후 연구에 활용될 수 있다.

상세 분석

이 논문은 기존 VQA 데이터셋이 “차트 마크 ↔ 원시 데이터”가 일대일 대응한다는 전제 하에 설계돼 왔으며, 이는 실제 과학 차트가 데이터 변환(집계, 구간화, 노이즈 추가 등)을 거친다는 점을 간과한다는 비판을 제기한다. 저자들은 이러한 한계를 메우기 위해 “분포 기반” 차트 VQA 벤치마크를 제안한다. 구체적으로, 파이썬 matplotlib을 이용해 가우시안 혼합 모델(GMM)로부터 샘플을 추출하고, 이를 히스토그램 형태로 시각화한다. GMM의 가우시안 수는 15개, 데이터 포인트는 -11 구간, 노이즈 5~10%를 추가해 다양성을 확보한다. 각 히스토그램에 대해 JSON 형식으로 메타데이터(분포 파라미터, 바 개수, 바 색, 축 라벨 등)와 바운딩 박스 정보를 제공한다.

질문 생성은 기존 VQA 설계와 유사하게 “레벨”별 난이도로 구분되며, 여기서는 두 가지 통계적 질문을 선택했다. (1) 히스토그램의 중위값을 구하라, (2) 히스토그램을 생성한 가우시안 혼합 모델의 구성 가우시안 수를 추정하라. 질문은 “persona”, “context”, “question”, “format” 네 부분으로 분리돼, 향후 다양한 프롬프트 설계에 재활용 가능하도록 설계되었다.

실험에서는 두 명의 인간 annotator와 GPT‑5‑nano를 대상으로 동일한 80개의 히스토그램에 답변을 수집했다. 인간은 Zooniverse 플랫폼을 통해 이미지와 함께 직접 중위값을 드로잉하고, 가우시안 수를 입력했다. 모델은 정형화된 프롬프트와 정수 선택 제한을 포함한 포맷을 사용해 답변했다. 결과는 다음과 같다.

• 중위값 추정에서는 인간과 모델 모두 평균적으로 실제값에 근접했으며, 잔차 분포는 정규성을 보이지 않아 비모수 검정(Kruskal‑Wallis)으로 차이를 검증했다. 차이는 통계적으로 유의하지 않았다.
• 바 수가 10, 20, 45, 60으로 변할 때 중위값 오차는 크게 달라지지 않았다.
• 가우시안 수가 1, 2, 3, 5로 증가할수록 모든 피험자(인간·모델)의 추정 오차가 증가했으며, 선형 혼합 효과 모델을 통해 이 증가가 유의함을 확인했다. 이는 가우시안이 겹칠수록 시각적으로 구분이 어려워지는 현상을 반영한다.

흥미롭게도, 모델은 통계 배경을 가진 인간(Annotator 1)과 비슷한 수준의 정확도를 보였으며, 가우시안 수 추정에서도 인간과 비슷한 오차 패턴을 나타냈다. 그러나 모델은 포맷 요구를 충족하지 못해 “X” 표시가 발생하는 경우가 있었으며, 이는 프롬프트 설계와 모델의 출력 제어가 아직 미흡함을 시사한다.

데이터셋은 현재 히스토그램에 국한되고 질문도 두 개에 불과하지만, 코드와 메타데이터가 공개돼 향후 라인 차트, 스캐터 플롯, 로그 스케일 등 다양한 차트 유형과 복잡한 질문(예: 신뢰구간, p‑값)으로 확장 가능하다. 또한, 더 큰 모델(GPT‑5‑mini)에서는 정확도 향상이 오히려 감소하고 환각이 증가한다는 부수적인 관찰도 보고돼, 모델 규모와 성능 간의 비선형 관계를 탐구할 필요성을 강조한다.

전반적으로 이 연구는 “차트 마크와 원시 데이터가 일치하지 않는 상황”을 VQA 연구에 도입함으로써, 멀티모달 모델이 통계적 추론 능력을 평가할 새로운 시험대를 제공한다. 향후 연구는 (1) 다양한 차트 유형과 복합 질문 세트 구축, (2) 모델 파인튜닝 및 출력 제어 메커니즘 개선, (3) 실제 과학 논문 차트와 연계된 대규모 실험 데이터 구축을 통해 현재 제시된 초기 베이스라인을 확장할 수 있다.