학술 딥리서치 에이전트를 위한 모듈형 벤치마크 ADRA‑Bank와 평가 패러다임

초록

본 논문은 학술 논문을 기반으로 한 200개의 인스턴스로 구성된 ADRA‑Bank 데이터셋을 소개하고, 계획·검색·추론 3단계 모듈을 독립적으로 혹은 종합적으로 평가할 수 있는 ADRA‑Eval 프레임워크를 제안한다. 엔드‑투‑엔드와 격리 모드 두 가지 평가 방식을 통해 최신 DR 에이전트와 백본 LLM의 강점·약점을 진단하고, 특히 고수준 계획 능력이 추론 성능을 좌우한다는 사실을 밝혀낸다.

상세 분석

이 논문은 현재 딥리서치(Deep Research, DR) 에이전트 평가가 ‘검색’에만 초점을 맞추는 한계를 정확히 짚어낸다. 기존 베치마크는 일반 도메인 질문에 대한 정답을 찾는 정도에 머물러, 학술 연구에 필수적인 ‘계획(Planning)’과 ‘추론(Reasoning)’을 정량화하기 어렵다. 저자들은 이러한 문제를 해결하기 위해 세 가지 핵심 모듈을 정의한다. 첫째, 플래너는 사용자의 복합 질의를 논문 구조에 맞는 하위 작업 시퀀스로 분해한다. 둘째, 리트리버는 제한된 예산 안에서 다중 소스(연구 논문·리뷰 논문)를 탐색하고, DOI 기반의 정밀한 증거 집합을 구축한다. 셋째, 리저너는 수집된 증거를 바탕으로 논리적 일관성과 사실성을 검증하며, 최종 보고서를 생성한다.

ADRA‑Eval은 이 세 모듈을 각각 ‘Mπ’, ‘Mρ’, ‘Mσ’라는 독립적인 메트릭으로 평가한다. 플래닝 평가는 서브태스크의 커버리지, 중복성, 구조적 정확성을 쌍대 비교 매트릭스로 측정하고, 리트리벌 평가는 DOI 정확도, 커버리지, 출처 검증을 규칙 기반으로 점수화한다. 추론 평가는 인간이 설계한 진위 판단 진단 쌍(D)을 이용해 사실성, 일관성, 깊이, 폭을 정량화한다. 또한 처리 시간·토큰 수·비용을 고려한 효율성 평가를 추가해 실용성을 검증한다.

데이터셋 구축 과정도 주목할 만하다. 10개 학문 분야(재료·금융·화학·컴퓨터·의학·생물·환경·에너지·건축·지구과학)에서 각각 20개의 인스턴스를 선정했으며, 각 인스턴스는 ‘질문(Q)’, ‘골드 플랜(T*)’, ‘골드 증거(E+*)’, ‘진단(D)’를 포함한다. 모든 라벨은 박사과정 연구자가 직접 검증했으며, 최신(2024년 이후)·인용 10회 이상 논문만을 사용해 품질을 보장한다.

실험 결과는 흥미롭다. 최신 상용 DR 에이전트(OpenAI, Google)와 여러 백본 LLM(GPT‑4o, Llama‑2 등)을 평가했을 때, 전반적으로 플래닝·리트리벌·추론 모두에서 고르게 높은 점수를 얻지는 못했다. 특히 다중 소스(리뷰 논문)에서의 증거 수집과 분야 간 일관성 유지가 가장 큰 약점으로 드러났다. 일부 모델은 리트리벌에서 뛰어나지만 플래닝이 부실해 불필요한 검색을 초래하고, 반대로 플래닝이 우수해도 증거가 부족하면 추론 단계에서 사실성 오류가 발생한다. 가장 중요한 발견은 ‘플래닝 능력 향상이 추론 성능을 크게 끌어올린다’는 점이다. 즉, 고품질의 하위 작업 정의가 이후 모듈의 오류 전파를 최소화한다는 의미다.

비판적 시각에서 보면, 200개의 인스턴스는 아직 규모가 작아 실제 학술 연구 전반을 대표하기엔 부족할 수 있다. 또한 DOI 기반의 정답 증거는 논문의 인용 관계에 의존하므로, 최신 연구나 비정형 데이터(특허·데이터셋·코드)에는 적용이 어려울 수 있다. 평가 메트릭이 규칙 기반이라 LLM이 생성한 새로운 증거(예: 최신 preprint)를 인정하지 못하는 한계도 존재한다. 그럼에도 불구하고, 모듈별 격리 평가와 엔드‑투‑엔드 평가를 동시에 제공한다는 설계는 DR 시스템 개발 단계에서 구체적인 개선 방향을 제시하는 데 큰 장점이다. 향후 데이터 규모 확대와 비정형 증거 포함, 메트릭의 학습 기반 확장이 이루어진다면, 학술 AI 어시스턴트의 신뢰성 평가에 표준이 될 가능성이 높다.