방사선 종양학 사고 근본 원인 분석에 대형 언어 모델 활용: 성능과 한계

초록

본 연구는 RO‑ILS에 공개된 19건의 방사선 종양학 사고 보고서의 “배경 및 사건 개요”를 입력으로 사용해 Gemini 2.5 Pro, GPT‑4o, o3, Grok 3 네 대형 언어 모델(LLM)의 근본 원인 분석(RCA) 능력을 평가하였다. 모델 출력은 의미적 코사인 유사도, 정밀도·재현율·F1·정확도, 허위 생성(환각) 비율, 네 가지 품질 항목(관련성, 포괄성, 정당성, 해결책 품질) 및 전문가(의료물리학자 5명)의 주관적 평점으로 비교했다. GPT‑4o가 전체 텍스트 유사도에서 최고(0.831)를 기록했으며, Gemini 2.5 Pro가 재현율(0.799)·정확도(0.918)·전반적 품질에서 가장 우수했고, 환각 비율은 모델마다 11%~61%로 차이를 보였다. 통계적으로 정확도·환각·주관점수에서 유의한 차이가 발견되었으며, LLM이 방사선 종양학 RCA를 보조하는 잠재력을 시사한다.

상세 분석

이 연구는 방사선 종양학이라는 고도로 전문화된 임상 분야에서 LLM의 추론 능력을 체계적으로 검증한 최초 사례 중 하나이다. 먼저, 19건의 RO‑ILS 사건을 선정한 점은 사례 다양성을 확보해 모델 일반화 가능성을 평가하려는 의도로 보인다. 입력으로 사용된 “배경 및 사건 개요”는 비구조화된 서술형 텍스트이며, 이는 LLM이 자연어 이해와 도메인 지식 통합을 동시에 요구받는 상황이다.

프롬프트 설계는 AAPM RCA 가이드라인을 기반으로 “시간 순서도, 원인‑결과 도식, 원인 진술”을 요구했으며, 이는 체계적 사고를 유도하는 체인‑오브‑생각(Chain‑of‑Thought) 전략과 유사하다. 그러나 프롬프트 자체가 비교적 단순하고, 모델별 파라미터 튜닝이나 샘플링 전략(temperature, top‑p 등)에 대한 언급이 없으므로, 각 모델의 최적화 정도가 결과에 미친 영향을 정확히 파악하기는 어렵다.

성능 평가에서는 의미적 코사인 유사도를 Sentence‑Transformers(all‑mpnet‑base‑v2)로 측정했는데, 이는 텍스트 수준에서의 전반적 내용 일치를 정량화한다. GPT‑4o가 0.831로 가장 높았지만, 이는 “전체 텍스트”에 대한 유사도이며, 실제 근본 원인 식별 정확도와는 차이가 있다. 반면 Gemini 2.5 Pro는 재현율(0.799)과 정확도(0.918)에서 최고였으며, 이는 모델이 핵심 원인 항목을 놓치지 않고 정확히 제시했음을 의미한다.

환각 비율이 모델마다 크게 차이(11%~61%)를 보인 점은 임상 적용 시 위험 요소다. 특히 o3는 61%로 매우 높은 환각을 보였으며, 이는 모델이 입력 문맥을 과도하게 확장하거나 비현실적인 정보를 삽입했을 가능성을 시사한다. 환각을 최소화하기 위한 후처리 검증 절차가 필요하다.

전문가 평가 항목(관련성, 포괄성, 정당성, 해결책 품질)에서 Gemini 2.5 Pro가 전반적으로 우수했으며, 주관적 평점(4.8/5)에서도 가장 높은 점수를 받았다. 이는 모델이 단순히 텍스트를 재생산하는 수준을 넘어, 논리적 근거와 실현 가능한 개선책을 제시하는 데 강점을 가지고 있음을 보여준다.

통계 분석에서는 Friedman’s test를 사용해 모델 간 차이를 검증했으며, 정확도·환각·주관점수에서 p<0.05로 유의미한 차이를 발견했다. 다만, 표본 수가 19건에 불과하고, 각 사건당 두 명의 물리학자만이 평가에 참여했으며, 인터‑레이터 신뢰도에 대한 구체적 수치가 제시되지 않아 결과의 신뢰성을 완전히 보장하기는 어렵다.

결론적으로, LLM은 방사선 종양학 RCA에서 인간 전문가와 유사한 수준의 분석을 제공할 수 있지만, 환각 관리와 모델별 특성 파악이 필수적이다. 향후 연구에서는 더 큰 사건 데이터베이스, 다중 프롬프트 전략, 모델 앙상블 및 인간‑AI 협업 워크플로우를 도입해 실용성을 높여야 한다.