깊은 연구 에이전트를 위한 과학 논문 검색 벤치마크와 성능 향상 전략

초록

SAGE는 1,200개의 과학 질의와 200,000개의 논문을 포함한 검색 벤치마크이다. 6개의 최신 연구 에이전트를 평가한 결과, 대부분이 추론 중심 질의에서 성능이 낮았으며, BM25가 LLM 기반 검색기보다 약 30% 우수했다. 저자들은 문서에 메타데이터와 키워드를 LLM으로 자동 추가하는 테스트‑타임 스케일링 프레임워크를 제안해, 단답형 질문에서 8%, 개방형 질문에서 2%의 성능 향상을 달성했다.

상세 분석

본 논문은 ‘깊은 연구 에이전트(Deep Research Agents)’가 과학 문헌 검색 단계에서 어떻게 동작하는지를 체계적으로 분석한다. 먼저, 과학 논문 검색을 제어된 실험 환경으로 선택한 이유를 네 가지로 제시한다. 첫째, 문헌 검색은 연구 활동의 핵심이며, 자동화된 에이전트가 이를 지원하면 과학적 발견 속도가 크게 향상될 수 있다. 둘째, 웹 기반 검색은 상업 API에 의존해 재현성이 낮지만, 논문 코퍼스는 고정된 크기와 접근성을 제공한다. 셋째, 기존 데이터셋은 오래된 논문에 치우쳐 있어 최신 지식 흐름을 반영하지 못한다. 넷째, 메타데이터와 인용 관계 등 구조화된 정보가 풍부해 에이전트의 추론 능력을 정밀하게 평가할 수 있다.

SAGE 벤치마크는 ‘단답형’과 ‘개방형’ 두 종류의 질의를 각각 600개씩, 총 1,200개로 구성한다. 단답형은 고유한 정답을 갖고, 복수의 논문 메타데이터·표·그림·인용 관계를 종합해 추론해야 한다. 개방형은 연구 배경과 공유 인용을 제시하고, 관련 논문 리스트를 다중 정답 형태로 제공한다. 각 도메인(컴퓨터 과학, 자연 과학, 보건, 인문)별로 50,000개의 최신 논문을 수집해 200,000개 코퍼스를 구축했으며, 질문 생성에는 GPT‑5‑mini를 프롬프트 엔진으로 활용해 인간 수준의 난이도를 확보했다.

평가 지표는 단답형에 Exact Match(EM), 개방형에 가중 재현율(Weighted Recall)으로 설정했으며, 이는 정답 논문의 포함 여부와 중요도(2,1,0)를 동시에 반영한다. 실험에서는 6개의 상용·오픈소스 에이전트(GPT‑5 시리즈, Gemini‑2.5 시리즈, DR‑Tulu)를 웹 검색 API와 연결해 기본 성능을 측정했다. 결과는 모든 에이전트가 추론 집약형 질의에서 낮은 EM을 보였으며, 특히 DR‑Tulu가 가장 경쟁력 있었지만 여전히 70% 수준에 머물렀다.

그 다음, DR‑Tulu를 고정하고 검색 백엔드만 교체해 BM25, ReasonIR, gte‑Qwen2‑7B‑instruct 등 세 가지 LLM 기반 검색기를 비교했다. 놀랍게도 BM25가 LLM 기반 검색기보다 평균 30% 높은 EM을 기록했는데, 이는 에이전트가 생성하는 서브쿼리가 키워드 중심이며, 표면 형태 매칭에 유리한 BM25와 잘 맞기 때문이다. 반면, 의미 기반 LLM 검색기는 서브쿼리와 실제 논문 내용 사이의 어휘 격차를 메우지 못했다.

이 문제를 해결하기 위해 저자들은 ‘코퍼스‑레벨 테스트‑타임 스케일링’ 프레임워크를 제안한다. 핵심 아이디어는 각 논문에 LLM을 이용해 자동으로 메타데이터(연도, 저자, venue)와 핵심 키워드 집합을 추가하는 것이다. 이렇게 풍부해진 문서는 기존 BM25와 같은 전통 검색기에 더 잘 매핑되어, 서브쿼리와의 일치도가 상승한다. 실험 결과, 단답형 질문에서 EM이 8% 상승하고, 개방형 질문에서는 가중 재현율이 2% 개선되었다.

추가적인 Ablation 연구에서는 (1) 메타데이터만 추가, (2) 키워드만 추가, (3) 메타데이터+키워드 전부 추가한 경우를 비교했으며, 두 요소를 모두 포함했을 때 가장 큰 성능 향상이 관찰되었다. 또한, LLM 기반 검색기의 파라미터 수와 추론 시간도 분석했는데, 대형 모델일수록 추론 비용이 급증함에도 불구하고 성능 향상은 미미했다는 점을 지적한다.

전체적으로 본 논문은 (1) 과학 문헌 검색을 위한 새로운 대규모 벤치마크 SAGE를 제시하고, (2) 현재의 깊은 연구 에이전트가 검색 단계에서 겪는 한계를 실증적으로 밝히며, (3) 전통적인 BM25와 메타데이터·키워드 강화 전략이 실용적인 해결책임을 입증한다는 점에서 의미가 크다. 향후 연구는 LLM 기반 검색기의 프롬프트 설계 개선, 동적 코퍼스 업데이트, 그리고 에이전트와 검색기의 공동 최적화 등을 통해 보다 의미 중심의 검색을 구현하는 방향으로 나아갈 수 있다.