RAG 기반 LLM, 췌장암 병기 정확도 크게 향상

초록

본 연구는 NotebookLM(내장 RAG 기능)과 동일 모델인 Gemini 2.0 Flash를 비교하여, 신뢰할 수 있는 외부 지식(REK)을 활용한 Retrieval‑Augmented Generation(RAG)이 췌장암 CT 기반 병기 정확도에 미치는 영향을 평가하였다. 100개의 가상 환자를 대상으로 세 그룹(REK+/RAG+, REK+/RAG‑, REK‑/RAG‑)을 실험한 결과, RAG을 적용한 NotebookLM이 전체 병기 정확도 70%로 가장 높았으며, TNM 분류 정확도는 80%에 달했다. 또한 NotebookLM은 REK에서 추출한 근거를 제시해 92%의 검색 정확도를 보이며 투명성을 확보했다.

상세 분석

이 논문은 최신 LLM인 Gemini 2.0 Flash를 기반으로 한 NotebookLM의 RAG 기능이 실제 임상 의사결정 지원에 얼마나 기여할 수 있는지를 정량적으로 검증한다. 먼저 일본의 최신 췌장암 병기 지침을 요약한 4 376단어 분량의 REK를 준비하고, 두 명의 방사선과 전문의가 만든 100개의 가상 CT 보고서를 활용해 실험 데이터를 구축하였다. 세 실험군은 (1) NotebookLM + REK + RAG, (2) Gemini Flash + REK (프롬프트에 직접 삽입, RAG 비활성화), (3) Gemini Flash 단독(REK 없이)으로 구성되어 모델 자체 차이를 최소화하고 RAG 효과만을 분리한다.

평가 지표는 전체 병기 정확도(모든 TNM, 국소 침범, 절제 가능성 항목이 동시에 맞아야 함)와 각 구성 요소별 정확도, 그리고 REK 검색 정확도(검색된 텍스트가 올바른 판정을 지원했는가)이다. 결과는 RAG을 적용한 NotebookLM이 전체 병기 정확도 70%로 가장 우수했으며, 특히 T와 N 단계 구분에서 80% 이상의 정확도를 기록했다. 반면 REK를 제공했지만 RAG을 비활성화한 Gemini Flash는 38%, REK 없이 실행한 경우는 35%에 그쳤다. 검색 정확도는 92%로, 대부분의 경우 필요한 지침 문구를 정확히 추출했지만, 일부 사례에서는 부정확하거나 불완전한 검색으로 인해 오분류가 발생했다(예: 혈관 명칭 오인).

이러한 결과는 (1) 동일 모델 내에서도 RAG이 외부 지식 활용을 자동화함으로써 복잡한 다중 기준 판정에서 오류를 크게 감소시킨다, (2) 검색 근거를 함께 제시함으로써 의사의 검증 가능성을 높여 신뢰성을 강화한다는 점을 시사한다. 또한, RAG이 없는 경우에도 REK를 프롬프트에 삽입하면 성능이 약간 향상되지만, 자동 검색·통합 과정이 없으면 여전히 한계가 있음을 보여준다.

한계점으로는 가상 환자 데이터에 의존했으며, 실제 임상 CT 이미지와 보고서의 복잡성을 완전히 재현하지 못했다는 점, 그리고 REK의 일부 누락(예: 절제 가능성에 관한 상세 항목)으로 인해 검색 정확도가 완전하지 못했다는 점을 들 수 있다. 향후 실제 환자 코호트를 대상으로 RAG‑LLM을 임상 워크플로에 통합하고, 다양한 언어·지역 지침을 동시에 다루는 멀티모달 RAG 시스템을 개발한다면 더욱 실용적인 AI 보조진단 도구가 될 것이다.