학술 리뷰를 위한 맥락 인식 멀티에이전트 프레임워크 ScholarPeer

초록

ScholarPeer는 웹 규모 검색과 세 종류의 특화 에이전트(역사학자, 베이스라인 스카우트, 다중‑측면 Q&A)를 결합해 논문을 외부 문헌과 연계해 평가한다. 실험 결과 DeepReview‑13K 데이터셋에서 기존 모델들을 크게 앞서며 인간 수준에 근접한 다양하고 깊이 있는 리뷰를 생성한다.

상세 분석

본 논문은 자동화된 피어 리뷰가 “표면 수준” 비판에 머무는 한계를 정확히 짚고, 이를 극복하기 위한 새로운 프레임워크인 ScholarPeer를 제안한다. 핵심 아이디어는 리뷰 과정에서 인간 연구자가 수행하는 ‘맥락 획득’과 ‘활동적 검증’을 두 개의 스트림으로 분리하고, 각각을 전용 에이전트에 위임하는 것이다.

첫 번째 스트림인 Knowledge Acquisition & Contextualization은 세 개의 에이전트로 구성된다. Summary Agent는 원문을 구조화된 ˆS(핵심 주장, 방법, 증거) 형태로 압축해 내부 인코딩 비용을 절감한다. Literature Review & Expansion Agent는 최신 웹 검색을 통해 서브도메인에 대한 실시간 문헌 풀을 구축하고, 반복적 확장 검색을 통해 최신 프리프린트와 비정형 소스를 포함한다. Sub‑Domain Historian Agent는 수집된 문헌을 연대기적 ‘도메인 내러티브’로 정리해, 해당 연구가 학문적 흐름 속에서 어느 정도 혁신성을 갖는지 판단할 근거를 제공한다. Baseline Scout Agent는 논문의 실험 설정을 분석하고, 현재 SOTA와 비교할 수 있는 누락된 베이스라인·데이터셋을 자동 탐색해 ‘누락된 비교’라는 인간 리뷰어가 흔히 지적하는 약점을 보완한다.

두 번째 스트림인 Multi‑Aspect Q&A Engine은 ‘skeptic’ 역할을 수행한다. Historian, Scout, Summary 에이전트가 제공한 정보를 바탕으로 구체적인 검증 질문 Qₚᵣₒbₑ를 생성하고, 자체 답변과 외부 검증을 동시에 수행한다. 이 과정에서 주장과 증거 사이의 불일치, 방법론적 결함, 실험 재현 가능성 등을 정량·정성적으로 로그에 남긴다. 이러한 인터랙션 로그는 최종 Review Generator Agent가 참고하도록 설계돼, 리뷰가 단순 요약이 아니라 검증 기반 비판으로 전환된다.

구현 측면에서 ScholarPeer는 Gemini 3 Pro를 핵심 LLM으로 사용하고, 검색은 구글 검색‑기반 LLM을 통해 비정형 소스까지 포괄한다. 평가에서는 DeepReview‑13K(1286 논문)와 인간 리뷰어 점수를 기준으로 Win‑Rate, H‑Max 점수, Spearman Correlation을 측정했으며, 모든 지표에서 기존 Fine‑tuned 모델(CycleReviewer, DeepReviewer) 및 최신 Agentic 베이스라인(AI Scientist, Agent Review)보다 우수했다. 특히 Significance Assessment와 Constructive Value 영역에서 98 % 이상의 승률을 기록, 인간 전문가(5.0)에 근접한 H‑Max 점수를 달성했다.

한계점으로는 (1) 웹 검색 의존성으로 인한 실시간 응답 지연, (2) 검색 엔진에 의존한 문헌 품질 검증의 불확실성, (3) 현재는 ICLR·NeurIPS 등 특정 컨퍼런스 가이드라인에 맞춘 프롬프트 전환만 지원한다는 점을 들 수 있다. 향후 연구에서는 검색 캐시와 증거 추적 메커니즘을 강화하고, 다중 컨퍼런스·저널 포맷에 대한 자동 적응성을 확대할 필요가 있다.

전반적으로 ScholarPeer는 ‘맥락 인식’과 ‘활동적 검증’이라는 두 축을 에이전트 기반으로 구현함으로써 자동 리뷰의 깊이와 다양성을 크게 향상시켰으며, 인간 리뷰어와의 격차를 실질적으로 줄이는 중요한 진전을 보여준다.