차트 편집 종합 벤치마크 ChartE3

초록

ChartE3는 차트 이미지에 대한 직접적인 편집을 평가하는 새로운 벤치마크로, 로컬(폰트·색상 등)과 글로벌(데이터 필터링·추세선 추가 등) 두 축의 12가지 세부 작업을 포함한다. 1,200여 개의 고품질 샘플을 이미지·코드·편집 지시문 삼중항 형태로 제공하며, SSIM·CLIP 기반 객관 지표와 GPT 기반 주관 점수를 함께 사용한다. 최신 멀티모달 대형 언어 모델을 테스트한 결과, 특히 글로벌 편집에서 현 모델들의 성능 격차가 크게 나타났다.

상세 분석

본 논문은 차트 편집을 “코드‑중개” 방식이 아닌 순수 이미지‑투‑이미지 변환으로 정의함으로써, 기존 연구가 놓친 시각적 일관성과 의미적 정확성을 직접 측정할 수 있는 평가 프레임워크를 제시한다. 데이터 구축 파이프라인은 다섯 단계로 구성되는데, 첫 단계에서 실세계와 합성 차트 데이터를 10 K 장 이상 수집하고, 차트 유형별 10 % 정도의 대표 이미지를 CLIP 임베딩 기반 k‑means 클러스터링으로 추출해 시각적 다양성을 확보한다. 두 번째 단계에서는 각 이미지에 대응하는 렌더링 코드를 자동 생성하고, 코드가 실제 이미지와 높은 CLIP 유사도(>0.7)를 보일 때까지 반복적인 리플렉션 방식으로 정제한다. 이렇게 얻어진 코드‑이미지 쌍은 편집 지시문 생성의 기반이 된다.

편집 지시문은 로컬 편집(폰트, 색상, 레이블 위치 등)과 글로벌 편집(데이터 필터링, 집계, 추세선 추가 등)으로 구분되며, 각각 6가지 세부 작업을 포함한다. 총 1 200여 개의 편집 샘플은 인간 검증을 거쳐 오류·모호성을 제거함으로써 높은 어노테이션 품질을 보장한다. 평가 메트릭은 두 축으로 나뉜다. 객관적 지표로는 구조적 변형을 최소화하는 SSIM과 시각·텍스트 정합성을 측정하는 CLIP‑Score를 사용하고, 주관적 지표는 GPT‑4‑Turbo 기반 평가 모델이 “시맨틱 정확성”, “편집 충실도”, “시각적 왜곡”을 1‑5 점 척도로 채점한다.

베이스라인 실험에서는 오픈소스 모델(예: LLaVA‑1.5, InternVL‑2)과 클로즈드소스 모델(예: GPT‑4o, Gemini‑Pro) 모두 로컬 편집에서는 평균 70 % 이상의 성공률을 보였으나, 글로벌 편집에서는 30 % 이하로 급락한다. 오류 분석 결과, 대부분의 실패는 (1) 텍스트 이해·명령 파싱 오류, (2) 데이터 구조를 이미지에서 정확히 추출하지 못함, (3) 편집 후 차트의 축·눈금·범위 재조정이 누락되는 점으로 귀결된다. 특히, 모델이 “데이터 필터링”과 같은 데이터‑중심 변형을 수행하려 할 때, 원본 차트에서 내재된 수치 정보를 정확히 복원하지 못해 시각적·수치적 불일치가 발생한다.

이러한 결과는 현재 멀티모달 LLM이 차트와 같은 구조화된 시각 정보에 대해 “시각‑언어‑데이터” 삼중 통합 능력이 부족함을 시사한다. 향후 연구는 (1) 차트 전용 시각 인코더와 데이터 추출 모듈의 공동 학습, (2) 편집 의도를 코드‑레벨로 자동 변환하지 않고 이미지‑레벨에서 직접 최적화하는 Diffusion 기반 편집 모델, (3) 인간‑인증 피드백을 활용한 강화학습(RLHF) 등을 통해 글로벌 편집 성능을 끌어올릴 여지를 제공한다.