에이전트형 LLM의 탐구 지능 평가: 딥 데이터 리서치와 DDR‑Bench

초록

본 논문은 구조화된 데이터베이스를 대상으로 LLM이 사전 질문 없이 스스로 목표를 설정하고 장기 탐색을 수행하도록 요구하는 “Deep Data Research(DDR)” 과제를 정의하고, 이를 검증 가능한 체크리스트 기반 벤치마크인 DDR‑Bench를 제시한다. 최신 모델들을 실험한 결과, 현재 최첨단 모델은 제한된 탐색 능력을 보이지만 장기적, 오류‑없는 탐색과 정보 격차 인식에서는 여전히 한계가 있음을 확인한다.

상세 분석

이 논문은 “탐구 지능(investigatory intelligence)”이라는 새로운 개념을 도입한다. 기존의 “실행 지능(executional intelligence)”은 주어진 질문에 정확히 답하는 능력에 초점을 맞추지만, 탐구 지능은 모델이 데이터 자체를 살피며 어떤 질문을 스스로 만들고, 가설을 세우며, 그 가설을 검증하고, 최종적으로 언제 탐색을 종료할지 판단하는 전 과정을 포함한다. 이를 평가하기 위해 저자들은 두 가지 핵심 설계 원칙을 제시한다. 첫째, 사전 질문이나 목표를 제공하지 않는다. 모델은 단순히 “특정 엔터티(예: 환자 ID)와 관련된 데이터를 탐색하라”는 시작 프롬프트만 받는다. 둘째, 에이전트 프레임워크를 최소화한다. 시스템 프롬프트는 ReAct 스타일(Reason‑Act‑Observe)만을 제공하고, 도구는 SQL과 파이썬 두 가지로 제한한다. 이러한 최소화는 모델 자체의 내재된 에이전시 능력을 직접 측정하려는 의도다.

DDR‑Bench는 세 가지 실제 시나리오(MIMIC‑IV 전자의무기록, GLOBEM 스포츠·심리 데이터, 10‑K 재무 보고)로 구성된다. 각 시나리오는 구조화된 테이블과 비구조화된 텍스트(임상 노트, 설문 응답 등)를 포함하며, 비구조화된 텍스트에서 자동으로 추출한 체크리스트를 정답으로 삼아 모델이 생성한 인사이트의 사실성을 검증한다. 체크리스트는 “약물 종류”, “수술 기록”, “성별” 등 구체적인 항목으로 구성돼, 모델이 보고서에 제시한 주장과 1:1 매핑이 가능하도록 설계되었다.

실험에서는 GPT‑4, Claude‑Sonnet 4.5, Gemini‑Flash, GLM‑4.6, DeepSeek‑V3.2 등 최신 LLM을 동일한 DDR‑Bench 환경에 투입했다. 결과는 다음과 같다. (1) 모델들의 평균 체크리스트 정확도는 30‑45% 수준으로, 인간 전문가 수준에 크게 못 미친다. (2) 탐색 라운드가 증가할수록 정확도는 상승하지만, 라운드 20~30 이후에는 수렴하거나 오히려 감소하는 현상이 관찰돼, 장기 탐색 시 오류 누적이 문제임을 시사한다. (3) 비용‑효율 측면에서도 토큰 사용량이 급증하면서 성능 대비 효율이 떨어진다. (4) 모델별 행동 패턴 분석 결과, 일부 모델은 초기 단계에서 데이터 스키마를 파악하고 주요 테이블을 집중 탐색하지만, 이후 가설 검증 단계에서 무작위 쿼리를 생성하거나 동일한 정보를 반복 조회하는 비효율이 나타났다.

저자들은 이러한 현상이 단순히 모델 규모나 파라미터 수에 의존하는 것이 아니라, “내재된 탐구 전략”이 부족하기 때문이라고 주장한다. 즉, 모델이 “정보 격차를 인식하고, 불확실성을 줄이기 위한 목표 재설정”을 수행할 메타‑인지 메커니즘이 미비하다는 것이다. 이를 보완하기 위해서는 (a) 장기 기억 및 계획 모듈을 강화하고, (b) 탐색 종료 시점을 판단하는 명시적 메트릭을 도입하며, (c) 체크리스트와 같은 객관적 피드백을 학습 과정에 통합하는 것이 필요하다.

또한 논문은 DDR‑Bench 자체가 확장 가능하도록 설계되었으며, 새로운 도메인(예: 금융, 제조)이나 추가 도구(예: 그래프 쿼리, 시계열 분석)로 쉽게 확장할 수 있음을 강조한다. 이는 향후 LLM 기반 자동 데이터 분석 에이전트의 연구 로드맵을 제시하는 중요한 기반이 된다.