바이오프로벤치: 생물학 실험 프로토콜 이해와 추론을 위한 대규모 데이터셋 및 벤치마크

초록

BioProBench는 27,000개의 인간 작성 프로토콜을 기반으로 550,000여 개의 과제 인스턴스를 제공하여, 프로토콜 질문응답, 단계 정렬, 오류 교정, 프로토콜 생성, 추론 등 5가지 핵심 작업을 통해 생물학 실험 절차의 이해와 논리적 추론 능력을 정량적으로 평가한다. 10개의 최신 LLM을 테스트한 결과, 기본 이해는 양호하지만 정밀한 수치·안전·인과관계 추론에서는 크게 성능이 떨어짐을 확인했으며, BioProCorpus를 활용한 Retrieval‑augmented 에이전트 ProAgent가 현 모델 대비 현저히 높은 정확도를 달성한다.

상세 분석

BioProBench는 기존 바이오텍스트 벤치마크가 주로 선언적 지식(논문 요약·질문응답) 위주였던 점을 보완하고, 실험실에서 실제로 사용되는 프로토콜의 절차적·인과관계·안전성을 평가할 수 있는 최초의 대규모 리소스를 제시한다. 데이터 구축 과정은 크게 세 단계로 나뉜다. 첫째, Bio‑Protocol, Protocol‑Exchange, JOVE, Nature Protocols, Morimoto Lab, Protocols.io 등 6개 출처에서 26,933개의 전체 텍스트 프로토콜을 수집하고, 중복 제거·HTML 태그 정제·계층 구조 파싱을 통해 ‘계층적 프로토콜’이라는 구조화된 형태로 변환한다. 둘째, 이 구조화된 코퍼스를 기반으로 다섯 가지 작업을 자동 생성한다. 예를 들어, Protocol Question Answering(PQA)은 원문에서 정확한 수치·시약·단계를 추출하고, 동일한 형식의 오답 선택지를 LLM이 제한된 범위 내에서 생성하도록 설계했다. Step Ordering(ORD)은 원본 단계 순서를 의도적으로 섞어 모델이 올바른 순서를 복원하도록 요구한다. Error Correction(ERR)은 안전·유효성 위험을 내포한 미세한 오류(예: 농도 오기)를 삽입하고, 모델이 이를 식별·수정하도록 만든다. Protocol Generation(GEN)은 전체 프로토콜을 재구성하도록 하며, Protocol Reasoning(REA)은 CoT(Chain‑of‑Thought) 프롬프트를 도입해 추론 과정을 명시적으로 평가한다. 셋째, 자동 필터링(키워드·구조 일관성)과 전문가 검증을 결합해 테스트 셋의 과학적 정확성을 확보했다.

평가에서는 GPT‑4, Claude‑2, LLaMA‑2‑70B 등 10개 모델을 대상으로 기존 정확도(Exact Match)와 새롭게 제안한 키워드 기반 내용 점수, 임베딩 기반 구조 점수를 종합했다. 결과는 ‘기본 이해’(예: 프로토콜 전체 흐름 파악)에서는 80 % 이상 정확도를 보였지만, ‘정밀 추론’(수치 계산·안전 검증·인과관계 재구성)에서는 30 % 이하로 급락했다. 이는 현재 LLM이 선언적 지식은 잘 다루지만, 실험실 수준의 절차적 논리와 정량적 정확성을 보장하기 어렵다는 점을 시사한다.

이러한 한계를 극복하기 위해 저자들은 BioProCorpus를 백엔드로 활용한 Retrieval‑augmented 에이전트 ProAgent을 설계했다. ProAgent은 질의 시점에 관련 프로토콜 조각을 검색·통합하고, 단계별 검증 모듈을 통해 오류를 사전 차단한다. 실험 결과, ProAgent은 기존 LLM 대비 PQA에서 12 %p, ORD에서 18 %p, ERR에서 22 %p, GEN에서 15 %p, REA에서 20 %p 이상의 절대 성능 향상을 달성했다. 이는 데이터와 모델 아키텍처가 결합될 때 프로토콜 수준의 과학적 신뢰성을 크게 높일 수 있음을 입증한다.

전반적으로 BioProBench는 (1) 대규모·다양한 생물학 분야 커버리지, (2) 절차적·정량적·안전성 요구를 반영한 다중 작업 설계, (3) 키워드·구조 임베딩을 활용한 도메인 특화 평가 지표, (4) 실제 연구 환경에 적용 가능한 Retrieval‑augmented 에이전트 개발이라는 네 가지 핵심 기여를 제공한다. 향후 연구에서는 (a) 프로토콜 자동화와 로봇 실험 시스템 연계, (b) 멀티모달(이미지·비디오) 정보와의 통합, (c) 지속적인 데이터 업데이트와 커뮤니티 기반 검증 메커니즘 구축 등을 통해 BioProBench를 과학 AI의 표준 벤치마크로 확장할 여지가 크다.