차트 구조 명세로 VLM 차트‑코드 생성 혁신

초록

본 논문은 차트 이미지를 입력으로 받아 정확한 플롯 코드를 생성하는 과제에서, 기존의 토큰‑레벨 지도 학습이 구조적 일관성을 보장하지 못한다는 문제를 지적한다. 이를 해결하기 위해 차트의 시각적·논리적 요소를 추상화한 중간 표현인 “Chart Specification”을 제안하고, 이 명세를 기반으로 구조적으로 균형 잡힌 학습 데이터셋 ChartStruct와 정밀한 구조 일치 보상을 제공하는 Spec‑Align Reward를 설계한다. 강화학습을 통해 구조적 피드백을 활용함으로써, 3K~4K 샘플만으로도 기존 대규모 감독 학습 모델을 크게 앞서는 성능을 달성한다.

상세 분석

이 연구는 차트‑to‑code 생성이라는 특수한 멀티모달 변환 문제를 ‘시각‑코드 간 격차’를 메우는 구조적 중간표현을 도입함으로써 근본적으로 재정의한다. 기존 VLM 기반 접근법은 이미지와 텍스트(코드) 사이를 직접 매핑하려다 보니, 토큰 수준의 손실 함수가 시각적 구조보다 문법적 유사성에 치우치는 경향이 있었다. 결과적으로 미세한 바 높이, 축 스케일, 데이터‑축 매핑 등 핵심 시각 정보를 놓치고, 구조적 ‘환상’이나 의미 불일치가 빈번히 발생한다.

Chart Specification(ℱ)은 Grammar of Graphics와 a‑Lite와 같은 시각화 문법을 축소·정제하여, 차트의 Topology(레이아웃, 축, 레전드), CoordDomain(좌표계 변환), SeriesDomain(데이터 시리즈와 매핑), AuxiliaryStats(통계량, 라벨링) 네 가지 핵심 요소를 명시한다. 이러한 스키마는 원시 파이썬/Matplotlib 코드와 1:1 매핑이 가능하도록 설계돼, 자동 파싱 파이프라인을 통해 양쪽을 동일한 구조 표현으로 변환한다.

데이터 측면에서 저자들은 기존 대규모 차트‑코드 데이터셋이 ‘카테고리 불균형’과 ‘노이즈’(불필요한 주석, 포맷 차이)로 인해 학습 효율이 낮다고 판단, 명세 기반 필터링을 적용해 ChartStruct라는 구조 균형 코퍼스를 만든다. 이 코퍼스는 라인 차트, 바 차트, 스캐터 등 다양한 시각 유형을 세부 명세별로 균등하게 샘플링함으로써, 소수 샘플에서도 복합 데이터 의존성을 학습하도록 돕는다.

보상 설계는 강화학습(RL) 적용 시 가장 큰 장애물인 ‘희소·이진 실행 성공/실패’ 피드백을 극복한다. Spec‑Align Reward는 다단계 Reward Tree를 도입해 (1) Integrity Gate: 명세 형식·필수 필드 존재 여부, (2) Topology Gate: 레이아웃·축 관계 일치, (3) Semantic Gate: 데이터‑축 매핑·시리즈 관계 정확도, (4) Code Metric Gate: 최종 코드 실행 결과와 시각적 재현 차이(예: 픽셀‑레벨 MSE)까지 정량화한다. 각 단계는 가중치를 부여해 연속적인 신호를 제공하므로, 정책 네트워크는 구조적 오류를 즉시 탐지·수정할 수 있다.

학습 프레임워크는 **Group Relative Policy Optimization (GRPO)**를 활용해, 동일 명세 그룹 내에서 상대적 어드밴티지를 계산한다. 이는 데이터 불균형을 완화하고, 복잡한 구조를 가진 차트가 과도하게 보상받는 현상을 방지한다. 실험 결과, 3K 샘플만으로도 기존 160K 샘플 기반 감독 학습 모델 대비 복합 지표에서 61.7% 향상을 보였으며, 4K 샘플에서는 모든 벤치마크에서 새로운 SOTA를 기록한다. 특히, 구조적 오류(축 스케일 오차, 시리즈 매핑 오류)가 크게 감소하고, 실행 가능한 코드 비율이 크게 높아졌다.

전반적으로 이 논문은 **‘구조적 중간표현 + 정밀 보상’**이라는 두 축을 통해 VLM이 차트 시각 정보를 논리적 코드로 변환하는 과정을 단계별로 정형화함으로써, 데이터 효율성과 구조적 충실도를 동시에 달성한 점이 가장 큰 공헌이다.