scBench 단일세포 RNA‑seq 분석 AI 에이전트 평가 벤치마크

초록

scBench은 6가지 시퀀싱 플랫폼과 7가지 분석 단계에 걸친 394개의 검증 가능한 문제를 제공하여 최신 대형 언어 모델(LM) 기반 AI 에이전트의 단일세포 RNA‑seq 데이터 처리 능력을 정량적으로 측정한다. 8개 모델을 평가한 결과 최고 정확도는 52.8%였으며, 작업 종류와 플랫폼에 따라 성능 차이가 크게 나타났다.

상세 분석

본 연구는 단일세포 RNA‑seq 분석 파이프라인에서 실제 연구자가 마주치는 핵심 단계—품질 관리(QC), 정규화, 고변이유전자 선택, 차원 축소, 클러스터링, 세포 타입 지정, 차등 발현 분석—를 각각 독립적인 평가 문제로 전환하였다. 각 문제는 (1) 데이터 스냅샷(주로 AnnData .h5ad 파일), (2) 자연어 형태의 작업 프롬프트, (3) 정답을 자동 채점할 수 있는 결정론적 그레이더로 구성된다. 그레이더는 JSON 스키마 기반으로 정량적 오차 허용범위를 정의하고, 동일 작업에 대해 여러 합법적인 방법을 실행해 허용 구간을 보정함으로써 “짧은컷”(pre‑computed label)이나 사전 지식에 의존하는 답변을 방지한다.

플랫폼 다양성은 6가지(Chromium, BD Rhapsody, CSGenetics, Illumina, MissionBio, ParseBio)로 설정했으며, 특히 MissionBio와 ParseBio처럼 문서화가 부족한 기술을 포함해 모델의 일반화 능력을 스트레스 테스트한다. 작업별 난이도는 정규화가 가장 쉬워 평균 70 % 이상의 정확도를 보였으며, 차등 발현 분석은 평균 27 %에 불과해 가장 어려운 작업으로 드러났다. 이는 차등 발현이 통계적 검정 선택, 마커 유전자 정의, 세포군 서브셋팅 등 복합적인 과학적 판단을 요구하기 때문이다.

8개의 최첨단 모델(Claude Opus 4.6/4.5, GPT‑4.5/4.1, Sonnet 4.5, Grok‑4.1/4, Gemini 2.5 Pro)은 동일한 mini‑SWE‑agent 하니스에서 3회 반복 평가되었다. 최고 성능은 Anthropic의 Claude Opus 4.6(52.8 % 정확도)였으며, 비용·지연 측면에서는 GPT‑4.5가 비슷한 정확도를 낮은 비용으로 달성했다. 그러나 플랫폼별 성능 편차가 모델 간 차이보다 더 크게 나타났다. 예를 들어 CSGenetics에서는 평균 59 %의 정확도를 기록했지만 MissionBio에서는 평균 26 %에 불과했다. 이는 공개 데이터와 도구 문서가 Chromium·Illumina 중심으로 축적돼, 드물게 사용되는 플랫폼에 대한 모델의 사전 학습이 부족함을 시사한다.

SpatialBench(공간 전사체)과 비교했을 때 scBench은 전체 정확도가 약 14 %p 높았으며, 모델 순위는 동일하게 유지되었다. 이는 scRNA‑seq 데이터가 더 풍부히 공개되고 Scanpy 기반 도구가 표준화돼 있어 학습 데이터가 풍부함을 반영한다. 그러나 차등 발현·세포 타입 지정 같은 고차원 판단 작업은 여전히 모델의 한계로 남아 있다.

논의에서는 현재 에이전트가 “코딩 능력”만으로는 충분하지 않으며, 플랫폼‑특화 파이프라인, 기술‑별 파라미터, 그리고 생물학적 컨텍스트를 이해하는 메타‑학습이 필요하다고 강조한다. 또한 결정론적 그레이더가 과학적 판단을 이산화한다는 한계와, 단일 단계 평가가 장기 파이프라인에서 오류 누적을 반영하지 못한다는 점을 인정한다. 향후 연구는 멀티‑스텝 시나리오, 자동 튜닝 메커니즘, 그리고 플랫폼‑인식 프롬프트 설계 등을 통해 에이전트의 신뢰성을 높이는 방향으로 진행될 예정이다.