LLM이 초보자 생물실험 성과에 미치는 실제 영향: 2025년 중반 무작위 대조 연구

초록

2025년 여름에 수행된 무작위 대조 시험에서, 최신 대형 언어 모델(LLM) 접근이 초보자들의 바이러스 역유전 작업 흐름 완성률을 유의하게 높이지는 못했지만, 세포 배양 등 일부 과업에서 성공률이 약간 상승하고, 전체 작업 진행 속도가 다소 빨라지는 등 제한적인 성과 향상이 관찰되었다.

상세 분석

본 연구는 사전 등록·조사자 블라인드·무작위 할당 방식을 적용한 153명의 초보 실험자를 대상으로, 인터넷 검색만 허용한 대조군과 Anthropic·OpenAI·DeepMind 등 2025년 중반 최신 LLM에 자유롭게 접근할 수 있는 실험군을 8주(39세션) 동안 비교하였다. 실험 설계는 BSL‑2 실험실 환경에서 마이크로피펫팅, 세포 배양, 분자 클로닝, 바이러스 생산, RNA 정량화의 5가지 과업을 순차·병행적으로 수행하도록 하였으며, 각 과업마다 성공 기준과 중간 단계 기준을 사전에 정의하고, 독립적인 평가자가 블라인드로 판정하였다.

주요 강점은(1) 실제 물리적 실험실에서 인간 참여자를 대상으로 LLM의 실용성을 검증한 최초 규모의 RCT이며, (2) 사전 등록된 통계 분석 계획과 두 가지 분석 집합(FAS·PPS)을 사용해 의도‑대‑치료 효과와 실제 수행 효과를 모두 평가했다는 점이다. 또한 Bayesian 계층 모델을 활용해 과업 간 이질성을 부분적으로 풀링(pooled)함으로써 낮은 완성률에도 불구하고 평균 효과를 추정한 점이 주목할 만하다.

결과는 다음과 같다. 핵심 역유전 흐름(세포 배양·분자 클로닝·바이러스 생산) 완성률은 LLM군 5.2%, 인터넷군 6.6%로 차이가 없었으며(p=0.759), 개별 과업에서도 통계적 유의성을 보이지 않았다. 다만 세포 배양 과업에서는 LLM군 성공률이 68.8%로 인터넷군 55.3%보다 높았으며(p=0.059), PPS 분석에서는 이 차이가 유의하게 나타났다(RR=1.28, p=0.025). Bayesian 분석은 “전형적인” 역유전 과업 성공 확률이 LLM 지원 시 1.42배(95% CrI 0.74–2.62) 증가할 가능성을 제시했으며, 양의 효과 확률은 85.5%에 달한다. Ordinal regression 결과도 LLM군이 중간 단계 진척을 보일 확률이 81%–96%로 높았다. 시간 분석에서는 세포 배양 과업 성공까지 평균 6일이 단축되었다.

한계점으로는(1) 초보자의 기본 실험 기술이 매우 낮아 전체 성공률이 10% 이하로 낮아, 효과 검출력이 제한적이었다는 점, (2) 과업이 복잡하고 다단계이므로 “부분 성공”을 정량화하기 어려웠으며, (3) LLM 사용 로그와 인터넷 검색 로그가 제한적으로만 수집돼 실제 활용 패턴을 완전히 파악하지 못했다는 점을 들 수 있다.

시사점은 LLM이 현재 수준에서는 복잡한 바이오‑듀얼‑유스 프로토콜을 초보자가 완전하게 수행하도록 만들지는 못하지만, 특정 실험 단계에서 지식·절차 제공을 통해 진행 속도와 성공 확률을 소폭 향상시킬 수 있다는 것이다. 따라서 AI‑바이오보안 위험 평가 시에는 인‑실험 검증을 반드시 포함해야 하며, 모델 성능이 더욱 고도화되고 사용자 교육이 체계화될 경우 위험 수준이 변동할 가능성을 지속적으로 모니터링해야 한다.