바이오에이전트 벤치 생물정보학 AI 에이전트 평가 종합 세트

초록

BioAgent Bench는 RNA‑seq, 변이 호출, 메타게노믹스 등 일상적인 생물정보학 파이프라인을 엔드‑투‑엔드 작업으로 구성하고, AI 에이전트가 도구를 연계해 결과물을 생성하도록 설계한 벤치마크이다. 폐쇄형·오픈형 모델을 동일한 에이전트 하니스에서 평가하고, LLM 기반 채점기로 단계별 완성도와 최종 결과를 자동 채점한다. 또한 입력 손상·디코이 파일·프롬프트 과부하 등 스트레스 테스트를 통해 견고성을 진단한다.

상세 분석

BioAgent Bench는 생물정보학 워크플로우의 복합성을 그대로 반영하기 위해 “프롬프트 + 입력 + 레퍼런스 데이터” 형태의 작업을 정의하고, 각 단계에서 생성해야 할 파일(품질 검사 보고서, 트리밍된 FASTQ, 정렬 BAM, 차등 발현 테이블 등)을 명시한다. 이를 통해 에이전트가 실제 명령줄 도구를 호출하고 파일 시스템을 조작하는 과정을 기록할 수 있다. 평가에서는 세 가지 핵심 지표를 LLM‑grader가 산출한다. 첫째, steps completed는 에이전트가 실제 수행한 파이프라인 단계 수를, 둘째, steps to completion은 해당 작업에 요구되는 총 단계 수를 추정해 진행률을 파악한다. 셋째, final result reached는 최종 산출물(예: CSV 형식의 변이 리스트)이 요구된 포맷과 일치하는지를 판단한다. 이러한 설계는 전통적인 정답‑핵심값 기반 채점이 어려운 생물정보학에서 “파이프라인 완성도”를 평가 지표로 전환한다는 점에서 혁신적이다.

벤치마크는 10개의 대표 작업을 선정했으며, 각 작업은 언어(Python, R, Bash)와 도구(STAR, DESeq2, GATK, Kraken2 등)를 다양하게 조합한다. 작업 선정 기준에 “실행 시간 < 4 시간, 메모리 ≤ 48 GB”라는 제한을 두어, 인간 전장 유전체와 같은 대규모 분석은 제외하고 모델이 일반적인 연구실 환경에서 실행 가능하도록 설계했다. 이는 실제 배포 시 비용과 인프라 제약을 반영하지만, 동시에 현실적인 대규모 분석에 대한 평가가 부족하다는 한계도 남긴다.

모델 비교에서는 최신 폐쇄형 LLM(Claude‑Opus‑4‑5, GPT‑5‑1‑Codex 등)과 최신 오픈소스 모델(Claude‑Sonnet‑4‑5, Mini‑Max‑M2.1 등)을 동일한 에이전트 하니스(Claude Code, Codex CLI, OpenCode)에서 실행했다. 결과는 폐쇄형 모델이 전체 작업 중 80 % 이상을 성공적으로 완료했으며, 특히 복잡한 변이 호출 파이프라인에서 높은 완성도를 보였다. 반면 오픈소스 모델은 전체 성공률이 55 % 수준으로 낮았지만, 데이터 프라이버시가 중요한 환경에서는 네트워크 차단·오프라인 실행이 가능하다는 실용적 장점을 제공한다.

견고성 테스트는 세 가지 변형을 적용했다. 첫째, 입력 파일을 무작위 문자로 손상시켜 데이터 손상 상황을 모의했다. 둘째, 동일한 포맷의 디코이 파일을 삽입해 에이전트가 올바른 파일을 식별하도록 요구했다. 셋째, 프롬프트에 불필요한 문장을 추가해 “프롬프트 블로트” 상황을 만들었다. 이 테스트에서 폐쇄형 모델은 입력 손상에 대해 70 % 이상 정상 동작했지만, 디코이 파일과 프롬프트 블로트에선 단계 누락·오류가 급증했다. 오픈소스 모델은 전반적으로 낮은 견고성을 보였으며, 특히 파일 식별 오류가 빈번했다.

프라이버시·지식재산권 관점에서 논문은 폐쇄형 모델이 클라우드 기반 API 호출을 전제로 하기 때문에, 민감한 환자 데이터나 미공개 레퍼런스를 외부에 전송해야 하는 위험이 있다. 반면 오픈소스 모델은 로컬 환경에서 완전히 실행 가능하므로, 의료기관·제약사 등 규제가 엄격한 분야에서 실용적이다. 다만 현재 오픈소스 모델의 성능 격차가 크므로, 향후 모델 경량화와 정밀도 향상이 필요하다.

전체적으로 BioAgent Bench는 생물정보학 파이프라인 자동화와 AI 에이전트 평가를 연결하는 중요한 인프라를 제공한다. 자동 채점, 스트레스 테스트, 프라이버시 고려 등 다차원 평가를 통해 모델 선택과 배포 전략을 과학적으로 판단할 수 있게 한다. 향후 작업 확대(대규모 인간 유전체, 멀티‑오믹스 통합)와 채점 기준의 정량화(통계적 정확도, 재현성) 등이 보완된다면, 생명과학 분야 AI 에이전트의 표준 벤치마크로 자리매김할 가능성이 크다.