생물학 실험 추론을 위한 새로운 벤치마크 BABE

초록

BABE는 실제 논문과 실험 데이터를 기반으로 생물학 AI의 실험 결과 통합 추론 능력을 평가하는 벤치마크이다. 강·약 연관 질문을 구분해 다단계 인과 추론과 병렬 정보 추출을 동시에 테스트한다. 실험 결과, 최신 GPT‑5.1이 가장 높은 평균 점수를 기록했으며, 깊은 추론 행동이 성능과 강하게 연관됨을 확인했다.

상세 분석

본 논문은 대형 언어 모델(LLM)의 생물학 분야 적용 가능성을 진단하기 위해, 기존 벤치마크가 놓치고 있는 “실험 결과와 배경 지식의 통합 추론”이라는 핵심 역량을 목표로 설계된 BABE(Biology Arena Benchmark)를 제안한다. BABE는 12개 생물학 하위 분야를 포괄하며, 각 질문은 원 논문의 실험 데이터(이미지, 표, 수치)와 실험 설계·조건·대조군 등 맥락 정보를 함께 제공한다. 질문은 3문항 세트(Q₁, Q₂, Q₃) 형태로 구성되며, Q₁→Q₂·Q₂→Q₃ 사이의 논리적 연관성을 ‘강연관(strong correlation)’과 ‘약연관(weak correlation)’으로 명시한다. 강연관은 전 단계의 답이 다음 단계의 정답 도출에 필수적인 다단계 인과 추론을 요구하고, 약연관은 독립적인 정보 추출·정리 능력을 평가한다.

데이터 구축 파이프라인은 (1) 최신 논문·리뷰 선정, (2) 분야 전문가에 의한 3문항 설계, (3) 2차 전문가 리뷰를 통한 연관성 라벨링 및 정답 검증, (4) LLM 보조 하에 단순 질문 제거 과정을 거친다. 이 과정에서 ‘실험 데이터의 실제 형태’를 유지하기 위해 Western blot 이미지, PCR 전기영동 사진, 시퀀싱 결과 그래프 등 멀티모달 자료를 그대로 활용한다. 따라서 모델은 텍스트만이 아니라 시각적 증거와 수치 데이터를 동시에 해석해야 한다.

실험에서는 12개 LLM을 BABE에 적용해 평균 점수와 강·약 연관 하위 점수를 비교했다. OpenAI‑GPT‑5.1‑high이 전체 평균 52.31점으로 최고였으며, 강연관 51.79점, 약연관 52.86점으로 두 영역 모두에서 균형 잡힌 성능을 보였다. 반면 Gemini‑3‑Pro‑Preview‑Exp은 약연관에서 55.16점으로 뛰어나지만 강연관에서는 49.05점에 머물러, 논리적 연쇄가 요구되는 상황에서 성능 저하를 나타냈다.

추가 분석에서는 모델의 추론 행동을 ‘Deep Reasoning’, ‘Self‑Exploration’, ‘Self‑Reflection’ 등으로 분류한 로그를 시각화했다. 고성능 모델은 전체 추론 단계 중 Deep Reasoning 비중이 현저히 높았으며, 저성능 모델은 얕은 패턴 매칭에 의존하는 비중이 높았다. 이는 BABE가 단순 사실 회수나 표면적 패턴 인식을 넘어, 복합적인 인과 관계와 멀티모달 증거 통합을 요구한다는 것을 실증한다.

본 연구는 (1) 실험 데이터와 문맥을 동시에 요구하는 질문 설계, (2) 강·약 연관을 명시적으로 구분한 구조화된 평가 프레임, (3) 멀티모달 증거 활용을 통한 실제 연구 환경 재현이라는 세 가지 차별점을 가진다. 이러한 설계는 향후 생물학 AI가 실제 연구 파이프라인에 투입될 때 필요한 ‘실험 설계·결과 해석·가설 검증’ 능력을 정량적으로 측정할 수 있는 기반을 제공한다. 향후 작업으로는 더 다양한 실험 유형(예: CRISPR 편집 결과, 대규모 오믹스 데이터)과 인간‑AI 협업 시나리오를 포함한 확장형 벤치마크 개발이 기대된다.