시각화 디버깅을 위한 인간‑AI 협업 시스템 설계와 평가

초록

본 논문은 Vega‑Lite 시각화 디버깅 사례를 Stack Overflow에서 297개 추출·분석하고, 인간 답변과 대형 언어 모델(LLM)의 성능을 비교한다. 연구 결과를 토대로 인간의 해석력과 LLM의 즉시성·생성 능력을 결합한 혼합형 코디버깅 시스템을 구현했으며, 36개의 미해결 문제에 대한 사용자 실험에서 86%의 해결률을 달성해 기존 포럼 답변(≈68%)·LLM 단독(≈71%)보다 우수함을 입증한다.

상세 분석

본 연구는 시각화 디버깅이라는 특수한 코딩 지원 영역을 인간‑AI 협업 관점에서 최초로 체계적으로 탐구한다. 먼저 Vega‑Lite 태그가 달린 889개의 Stack Overflow 질문을 수집하고, GPT‑4o 기반 자동 분류와 수작업 검증을 거쳐 디버깅 의도가 명확한 758개를 선별한다. 이후 JSON 구문 검증과 데이터 가용성 확인을 통해 297개의 완전한 사례(코드·시각·데이터·질문·베스트 답변 포함)를 구축하였다.

연구 질문(Q1‑Q3)은 각각 ‘사용자는 어떤 질문을 하는가’, ‘인간 답변은 얼마나 효과적인가’, ‘LLM은 인간 수준의 디버깅 지원을 제공할 수 있는가’를 묻는다. 질문 유형 분석 결과, 색상·축·레이아웃 등 시각적 속성 수정, 데이터 불일치, 인터랙션 오류 등 6가지 주요 카테고리가 도출되었다. 인간 답변은 평균 78%의 정확도로 문제를 해결했지만, 응답 시간 평균 12시간 이상으로 지연이 심했다.

LLM 평가에서는 텍스트‑전용 모델(Qwen 2.5‑72B, DeepSeek‑R1)과 멀티모달 모델(Claude‑3.5‑Sonnet, GPT‑4o, o1‑Pro)을 사용했으며, Zero‑Shot과 다중 턴(문서·컴파일러 로그 제공) 두 가지 프롬프트 조건을 실험했다. Zero‑Shot에서는 평균 65%의 정확도를 보였으며, 특히 이미지 입력을 활용한 멀티모달 모델이 코드 완성도는 높았지만, 사용자가 의도한 미세한 색상 그라데이션 등 ‘미적 세부 요구’를 오버‑수정하는 경향을 보였다. 다중 턴에서는 문서·로그 제공이 정확도를 8~10%p 상승시켰지만, 여전히 인간 답변 대비 정확도와 설명력에서 차이가 있었다.

이러한 비교 분석을 바탕으로 설계된 인간‑AI 코디버깅 시스템은 (1) 질문 자동 분류·멀티모달 검색, (2) LLM 기반 초안 생성, (3) 포럼 답변·문서·컴파일러 로그 기반 검증·보강, (4) 사용자에게 하이브리드 피드백을 제공하는 4단계 파이프라인으로 구성된다. 핵심 설계 원칙은 ‘AI는 빠른 초안을 제공하고, 인간(또는 포럼 지식)은 정확성을 검증·보완한다’는 점이다. 시스템은 Vega‑Lite 코드 편집기와 연동돼 실시간 로그와 데이터 흐름을 시각화하고, LLM이 제안한 수정안을 하이라이트·설명 형태로 제시한다.

평가 단계에서는 36개의 이전에 해결되지 않았던 문제에 대해 (i) 기존 포럼 베스트 답변, (ii) LLM 단독, (iii) 제안 시스템을 각각 제공했다. 결과는 시스템이 86%(31/36) 문제를 해결했으며, 인간 답변은 68%(24/36), LLM은 71%(26/36) 수준이었다. 해결 속도 역시 평균 3분 내에 제시되었고, 사용자는 ‘해결 정확도·시간·설명 가독성’ 측면에서 시스템에 높은 만족도를 보였다.

본 논문은 (1) 시각화 디버깅에 특화된 데이터셋 구축 방법, (2) 인간·AI 각각의 강·약점을 정량화한 비교 프레임워크, (3) 인간‑AI 혼합형 디버깅 워크플로우 설계, (4) 실사용자 실험을 통한 효과 검증이라는 네 가지 학술적·실무적 기여를 제공한다. 특히, 멀티모달 LLM이 이미지·코드·텍스트를 동시에 처리할 수 있다는 점을 활용해 시각적 버그를 자동 인식·수정하는 초기 단계 모델을 제시한 점이 혁신적이다. 향후 연구에서는 다양한 시각화 언어(Vega, ggplot2 등)와 더 복잡한 인터랙션 디버깅을 포함한 확장성을 검토하고, 프라이버시 보호와 협업형 라벨링을 통한 지속적인 지식 베이스 업데이트 방안을 모색해야 한다.