DeepVIS: 자연어와 데이터 시각화를 잇는 단계별 추론의 힘

초록

본 논문은 자연어로 데이터 시각화를 생성하는(NL2VIS) 과정의 ‘블랙박스’ 문제를 해결하기 위해 Chain-of-Thought(CoT) 추론을 접목한 DeepVIS 시스템을 제안합니다. 단계별 추론 과정을 설계하고, 이를 학습할 수 있는 nvBench-CoT 데이터셋을 구축하며, 사용자가 추론 단계를 검토하고 수정할 수 있는 인터랙티브 시각 인터페이스를 개발했습니다. 이를 통해 시각화 생성 성능과 동시에 시스템의 투명성과 사용자 통제력을 크게 향상시켰습니다.

상세 분석

이 연구의 핵심 기술적 통찰은 자연어로부터 시각화를 생성하는 복잡한 인지 과정을 체계적인 5단계 Chain-of-Thought(CoT) 추론 프로세스로 구조화했다는 점입니다. 기존 NL2VIS 방법이 종단간(end-to-end) 매핑에 집중하여 내부 논리를 드러내지 않았다면, DeepVIS는 ‘차트 타입 결정 → 관련 데이터 열 추출 → 데이터 세분화 정의 → 시각화를 위한 데이터 정제 → 최종 시각화 명령어 생성’이라는 명시적인 단계를 설계했습니다. 이는 시각화 전문가의 실제 설계 워크플로우를 반영하여 모델이 더 정확하고 해석 가능한 결정을 내리도록 유도합니다.

두 번째 주요 기여는 자동화된 파이프라인을 통해 기존 nvBench 데이터셋을 풍부한 추론 단계 설명이 포함된 nvBench-CoT 데이터셋으로 확장한 것입니다. 이는 단순히 데이터를 늘린 것이 아니라, 모델이 ‘어떻게 생각해야 하는지’를 학습할 수 있는 지도 신호를 제공합니다. 실험 결과, 이 데이터셋으로 미세 조정된 모델은 기존 최신 모델을 능가하는 성능을 보였으며, 이는 CoT가 NL2VIS 작업의 정확성 향상에 직접적으로 기여함을 입증합니다.

세 번째 혁신은 생성된 추론 체인과의 심층적인 인터랙션을 가능하게 하는 시각 인터페이스 개발에 있습니다. 사용자는 생성된 시각화뿐만 아니라 각 중간 추론 단계(S1-S5)를 검토하고, 특정 단계에서의 오류(예: 잘못 선택된 차트 타입 또는 집계 함수)를 직접 수정할 수 있습니다. 이는 단순히 출력을 조정하는 수준을 넘어, AI의 사고 과정 자체에 개입하는 ‘표현 가능한 인터랙션(expressive interaction)‘을 실현합니다. 사용자 연구는 이러한 투명성과 통제력이 사용자의 신뢰도를 높이고, 오류를 수정하는 효율성을 극대화하며, 사용자 자신의 시각화 설계 역량을 학습시키는 부수적 효과가 있음을 확인했습니다.