자동과학연구를 위한 AblationBench: 논문·리뷰어용 절제 실험 설계 평가

초록

AblationBench는 AI 코-사이언티스트가 논문 방법 섹션을 기반으로 절제 실험을 설계하거나, 리뷰어가 누락된 절제 실험을 찾아내는 두 가지 과업을 제공한다. 83개의 저자용 인스턴스와 350개의 리뷰어용 인스턴스로 구성되며, LM 기반 자동 평가자를 설계해 인간 판정과 비교하였다. 최신 대형 언어 모델은 평균 38% 수준의 재현율만 보였으며, 체인‑오브‑쓰스팅(CoT) 프롬프트가 에이전트 기반 접근보다 우수했다. 인간은 F1 0.65를 기록해 모델과 큰 격차가 있음을 보여준다.

상세 분석

AblationBench는 경험적 AI 연구에서 절제(ablation) 실험을 자동으로 계획하도록 설계된 최초의 종합 벤치마크이다. 두 가지 주요 과업, AuthorAblation과 ReviewerAblation을 통해 각각 논문 저자가 방법 섹션만 보고 절제 실험을 제안하는 상황과, 리뷰어가 전체 논문을 검토하면서 누락된 절제 실험을 찾아내는 상황을 모델링한다. AuthorAblation은 14개 학회에 걸친 83편의 논문을 수집하고, 각 논문에 포함된 230개의 인간 주석 절제 실험을 골드 표준으로 제공한다. 논문 본문은 방법 섹션까지만 제공해 모델이 핵심 구성 요소를 식별하고, 해당 요소를 제거·변형하는 실험을 설계하도록 요구한다. ReviewerAblation은 2023‑2025년 ICLR 제출물 350개와 해당 리뷰에서 제시된 절제 제안을 활용한다. 여기서는 모델이 전체 논문을 입력받아, 리뷰어가 지적한 ‘누락된’ 절제 실험을 자동으로 찾아내야 한다.

평가자는 두 과업 모두에 대해 LM 기반 자동 판정기를 구축했다. 판정기는 GT(ground‑truth) 절제와 모델이 생성한 절제를 매칭시키는 이진 분류 작업을 수행한다. 매칭 기준은 동일한 메서드 구성 요소를 대상으로 동일하거나 유사한 변형을 제안했는지 여부이며, 매칭 여부를 판단하기 위해 CoT 프롬프트와 ReAct‑스타일 에이전트 두 가지 판정 방식을 사용한다. 편향 완화를 위해 모델 앙상블, 무작위 순서 섞기, GT와 플랜 라벨을 무작위 교환하는 전략을 적용했다. 인간 주석이 포함된 JudgeEval 데이터셋을 별도로 구축해 자동 판정기의 정확도를 검증하였다.

플래너 측면에서는 LM‑Planner와 Agent‑Planner 두 가지 베이스라인을 제시한다. LM‑Planner는 단일 CoT 프롬프트로 논문 메타데이터와 텍스트를 입력받아 k개의 절제 아이디어와 그 근거를 출력한다. Agent‑Planner는 SWE‑agent 기반의 ReAct 에이전트로, 파일 탐색·명령 실행 등 도구 사용이 가능해 중간 단계에서 정보를 추출하고 수정한다. 실험 결과, 최신 GPT‑4‑Turbo와 Claude‑3‑Opus 등 최첨단 모델을 사용했음에도 두 과업 모두 평균 재현율이 38%에 불과했으며, AuthorAblation에서는 인간이 0.65의 F1 점수를 기록해 모델과 큰 격차를 보였다. 특히 ReviewerAblation에서는 모델이 GT 절제의 45% 정도만 포착했으며, AuthorAblation에서는 31% 수준에 머물렀다. 이는 모델이 논문 텍스트에서 핵심 구성 요소를 정확히 파악하고, 실험 설계의 실용성을 판단하는 데 한계가 있음을 시사한다.

또한, CoT 프롬프트가 에이전트 기반 접근보다 일관된 성능을 보였으며, 이는 복잡한 도구 인터페이스보다 언어적 추론이 절제 설계에 더 효과적일 수 있음을 암시한다. 저자들은 이러한 결과를 바탕으로 향후 연구 방향을 제시한다. 첫째, GT가 없는 새로운 절제 아이디어를 평가할 메트릭이 필요하고, 둘째, 도메인 지식과 실험 가능성을 통합한 멀티모달 판단 체계가 요구된다. 마지막으로, 현재 LM‑Judge가 보여주는 편향과 오류를 최소화하기 위한 다중 모델 앙상블 및 인간‑인-루프 검증 절차가 필수적이다.

전반적으로 AblationBench는 AI 코‑사이언티스트가 수행해야 할 핵심 과업인 ‘절제 실험 설계’를 체계적으로 측정할 수 있는 기반을 제공한다. 데이터셋 공개와 자동 평가 파이프라인 구축을 통해 연구 커뮤니티가 향후 모델을 비교·개선할 수 있는 표준을 마련했으며, 현재 모델의 한계가 명확히 드러나 향후 연구의 동기를 부여한다.