딥서치QA: 깊이 있는 연구 에이전트를 위한 포괄성 격차 해소 벤치마크

초록

DeepSearchQA는 17개 분야에 걸친 900개의 다단계 정보 탐색 프롬프트를 제공하여, 에이전트가 분산된 웹 소스에서 정보를 체계적으로 수집·중복 제거·검색 종료 시점을 판단하는 능력을 평가한다. 최신 모델조차 높은 재현율과 정밀도 사이의 균형을 맞추지 못해 회수 부족·과다 회수(헤징) 등 명확한 한계를 보인다.

상세 분석

본 논문은 기존 단일 정답 검증 방식이 실제 연구 작업에서 요구되는 “포괄적 답변 집합 생성”을 충분히 측정하지 못한다는 점을 지적한다. 이를 보완하기 위해 설계된 DeepSearchQA는 세 가지 핵심 능력을 목표로 한다. 첫째, 시스템적 수집(Systematic Collation) 은 수백 개에 달하는 서로 다른 웹 페이지를 자동으로 탐색하고, 각 페이지에서 부분적인 정보를 추출해 하나의 마스터 리스트로 통합한다. 이 과정에서 에이전트는 검색 쿼리 확장, 페이지 순위 재조정, 그리고 비정형 텍스트에서 구조화된 엔터티를 추출하는 파이프라인을 스스로 구성해야 한다. 둘째, 엔터티 해석(Entity Resolution) 은 동일 실체가 다양한 표기(예: “United States”, “U.S.”, “USA”)로 등장할 때 이를 하나로 합치는 작업이다. 논문은 기존의 단순 문자열 매칭이 아닌, 컨텍스트 기반 의미 유사도와 외부 지식 베이스(예: Wikidata)를 활용한 다중 단계 정제 과정을 요구한다. 셋째, 검색 종료 판단(Stopping Criteria) 은 에이전트가 “더 이상 새로운 정보를 찾을 가능성이 낮다”는 결정을 내릴 시점을 스스로 판단해야 함을 의미한다. 이는 epistemic uncertainty를 정량화하고, 탐색 비용 대비 기대 이득을 모델링하는 메타-리워드 설계와 직결된다.

실험에서는 Google DeepMind의 Gemini Deep Research Agent, Anthropic Claude, OpenAI GPT‑4o 등 최신 LLM 기반 에이전트를 평가했으며, 전반적으로 재현율(Recall) 은 0.62 수준, 정밀도(Precision) 은 0.48 수준에 머물렀다. 특히 복잡한 의존 그래프를 포함한 하드 프롬프트에서는 평균 재현율이 0.45 이하로 급락했으며, 이는 에이전트가 중간 단계에서 정보를 누락하거나 잘못된 엔터티를 중복 포함하는 경우가 빈번함을 보여준다. 실패 모드 분석 결과, (1) 조기 종료 – 충분한 탐색 없이 답변을 제출해 재현율이 크게 감소, (2) 헤징 – 낮은 신뢰도 후보를 과도하게 포함해 정밀도가 떨어지는 현상이 주를 이룬다. 이러한 현상은 현재의 탐색‑정답 생성 파이프라인이 “탐색 비용 최소화”와 “답변 포괄성 최대화” 사이의 트레이드오프를 적절히 조정하지 못함을 시사한다.

논문은 또한 평가 메트릭으로 F1 기반 점수와 정답 집합의 완전성·정확성을 동시에 측정하는 새로운 스코어링 스킴을 제안한다. 이 스키마는 정답 순서에 무관하게 집합 일치를 평가하므로, 에이전트가 답변을 제시하는 순서에 대한 제약을 없애고, 실제 연구 상황에서 요구되는 “모든 가능한 후보를 포괄적으로 제시”하는 능력을 정확히 측정한다. 마지막으로, Kaggle 기반 실시간 리더보드와 공개 검증 파이프라인을 제공함으로써 커뮤니티가 지속적으로 모델을 개선하고, 새로운 실패 모드를 탐지할 수 있는 생태계를 구축한다.

요약하면, DeepSearchQA는 다단계, 다도메인, 다소스 탐색을 요구하는 현실적인 연구 과제를 통해 현재 LLM‑에이전트의 한계를 명확히 드러내며, 향후 연구는 (1) 효율적인 검색 전략 학습, (2) 고도화된 엔터티 정규화, (3) 불확실성 기반 종료 판단 메커니즘**을 중심으로 전개될 필요가 있다.