딥스칼라 벤치: 실시간 연구 종합 평가를 위한 새로운 벤치마크

초록

딥스칼라-벤치는 최신 arXiv 논문을 기반으로 실시간 쿼리를 생성하고, 관련 연구 섹션을 자동으로 작성·인용하도록 요구하는 종합 평가 프레임워크이다. 지식 종합, 검색 품질, 검증 가능성이라는 세 축을 자동 메트릭으로 측정하고, 오픈소스 기준 파이프라인 DeepScholar‑ref를 제공한다. 현재 공개된 시스템들은 평균 31 % 이하의 성능을 보이며, 향후 연구의 큰 여지를 남긴다.

상세 분석

딥스칼라‑벤치는 기존 QA 벤치마크가 짧은 사실 응답에 초점을 맞추는 한계를 넘어, 실제 연구자들이 수행하는 ‘Related Work’ 작성 과정을 모델링한다. 데이터 파이프라인은 매월 최신 arXiv 논문을 스크래핑하고, 논문의 초록을 쿼리로, 인간이 작성한 ‘Related Works’ 섹션을 정답 예시로 사용한다. 이 과정에서 논문 버전 관리, 컨퍼런스 수락 여부, 섹션 길이 제한 등을 적용해 데이터 오염과 품질 저하를 최소화한다.

평가 프레임워크는 7개의 세부 메트릭을 자동화한다. ‘Knowledge Synthesis’는 조직·일관성(LLM‑as‑judge 기반 쌍대 비교)과 Nugget Coverage(핵심 사실 누락 여부)로 측정한다. ‘Retrieval Quality’는 Relevance Rate(문서별 0‑2 점을 LLM이 부여), Reference Coverage(핵심 인용문 포함 비율), Document Importance(인용 횟수 기반 가중치)로 구성한다. ‘Verifiability’는 Citation Precision(인용이 주장과 일치하는 비율)과 Claim Coverage(주장이 충분히 뒷받침되는 비율)로 검증 가능성을 평가한다. 모든 메트릭은 LLM 기반 판단을 사용하지만, 인간 평가와의 상관관계를 검증해 신뢰성을 확보한다.

실험에서는 14개의 오픈소스·상업용 시스템(DeepResearch, STORM, OpenScholar 등)과 자체 구현한 DeepScholar‑ref를 비교했다. 가장 높은 성적을 기록한 DeepResearch는 Nugget Coverage 39.2 %, Reference Coverage 18.7 %, Document Importance 12.4 %를 보였지만, Verifiability 영역에서는 뒤처졌다. 전체 메트릭의 기하 평균은 31 %를 넘지 못했으며, 특히 Nugget Coverage와 Reference Coverage가 40 % 이하에 머물러 실제 연구 종합 능력이 크게 부족함을 드러냈다.

이 논문의 주요 기여는 (1) 실시간으로 최신 연구 질문을 제공하는 살아있는 벤치마크, (2) 자동화된 다차원 평가 체계, (3) 오픈소스 기준 파이프라인이다. 그러나 현재 메트릭이 LLM 판단에 크게 의존한다는 점에서 모델 편향 위험이 존재하고, 인용 정확성 판단에 필요한 외부 검증 데이터가 부족하다. 또한 ‘Related Works’ 섹션 외에 실험 설계·방법론 등 다른 논문 구성 요소를 포함하지 않아 평가 범위가 제한적이다. 향후 연구에서는 멀티모달 검색(코드·데이터셋 포함), 인간‑LLM 협업 평가, 그리고 장기적인 벤치마크 지속성을 위한 커뮤니티 기반 데이터 검증 메커니즘이 필요하다.