데이터크로스: 이종 멀티모달 데이터 분석을 위한 통합 벤치마크와 에이전트 프레임워크

초록

DataCross는 구조화된 파일(SQL, CSV 등)과 시각적 문서(스캔 이미지)에서 분산된 정보를 동시에 활용할 수 있는 새로운 벤치마크와 에이전트 프레임워크를 제안한다. 200개의 도메인‑다양한 과제로 구성된 DataCrossBench는 인간‑인‑루프 역합성 파이프라인으로 생성돼 현실적인 복잡성과 검증 가능한 정답을 제공한다. DataCrossAgent는 소스별 전문 서브‑에이전트를 협업시켜 깊은 탐색, 핵심 소스 식별, 교차‑컨텍스트 재해석을 수행하고, 재귀적 ReReAct 메커니즘으로 코드 생성·디버깅·검증을 반복한다. 실험 결과, 기존 GPT‑4o 대비 사실성 점수가 29.7% 향상되었으며, 특히 시각적 “좀비 데이터” 활성화와 고난이도 다단계 추론에서 우수한 견고성을 보였다.

상세 분석

DataCross 논문은 현재 기업 현장에서 데이터 과학가들이 직면하는 “좀비 데이터” 문제를 정확히 짚어낸다. 기존 데이터 분석 에이전트는 구조화된 데이터에만 초점을 맞추어 이미지에 내재된 표나 차트를 추출·정규화하는 능력이 부족했다. 이를 해결하기 위해 저자들은 두 가지 핵심 기여를 제시한다. 첫째, DataCrossBench는 인간‑인‑루프 역합성 파이프라인을 통해 도메인 전문가가 정의한 분석 목표와 인사이트를 출발점으로 삼고, 자동화된 코드 생성기로 해당 목표를 만족시키는 구조화 파일(SQL, CSV, JSON)과 시각적 문서(스캔 이미지)를 동시에 합성한다. 이 과정에서 파일 수, 레코드 규모(>3,000건/파일) 등 현실적인 제약을 강제함으로써 실제 기업 데이터 파이프라인을 그대로 재현한다. 두 번째 기여는 DataCrossAgent라는 다중 서브‑에이전트 아키텍처이다. 각 서브‑에이전트는 특정 데이터 소스(예: SQL 엔진, OCR 테이블 추출기, JSON 파서)에 특화되어 있으며, “Intra‑source Deep Exploration” 단계에서 해당 소스의 메타데이터와 내용물을 완전 탐색한다. 이어지는 “Key Source Identification” 단계에서는 LLM 기반의 중요도 평가 모델이 각 소스의 기여도를 정량화해 분석 목표 달성에 가장 핵심적인 파일을 선정한다. 마지막 “Contextual Cross‑pollination” 단계에서는 선택된 핵심 소스를 중심으로 다른 서브‑에이전트가 교차‑컨텍스트 정보를 재해석하고, 이를 기반으로 복합 쿼리·코드(파이썬/SQL)를 생성한다. 여기서 도입된 재귀적 Reasoning‑Act (reReAct) 메커니즘은 생성된 코드를 실행하고 오류를 자동 디버깅한 뒤, 결과를 다시 LLM에 피드백하여 코드와 결과를 반복적으로 정제한다. 이 루프는 사실성 검증을 강화하고, “코드‑우선” 접근법이 갖는 실행 오류 위험을 크게 감소시킨다. 실험에서는 200개 과제 중 난이도 높은 하드(이미지 포함) 그룹에서 DataCrossAgent가 GPT‑4o 대비 사실성 점수 29.7% 상승, 전체 정확도·완전성·논리성·통찰성 모두에서 평균 12% 이상 개선된 것으로 보고된다. 특히 시각적 표 추출 정확도가 93%에 달했으며, 구조화된 데이터와의 정규화 매핑 성공률이 88%에 이르는 등, “좀비 데이터” 활성화 능력이 크게 향상되었다는 점이 주목할 만하다. 또한, 다중 서브‑에이전트 간의 협업 워크플로우가 단일 에이전트 기반 파이프라인 대비 2배 이상의 처리 효율을 보였으며, 복잡한 도메인 간 엔티티 매핑(예: 의료 코드 ↔ 재무 계정)에서도 오류 전파를 최소화했다. 전반적으로 이 논문은 멀티모달 데이터 분석을 위한 평가 기준을 새롭게 정의하고, 실제 산업 현장에서 요구되는 엔드‑투‑엔드 파이프라인을 구현하는 데 필요한 설계 원칙과 구현 방법을 구체적으로 제시한다.