방사선 보고서 생성 평가를 위한 LLM 기반 Ran 점수

초록

본 연구는 임상의와 대형 언어 모델(LLM)의 협업을 통해 21개의 표준화된 이상 소견 라벨을 추출하고, 이를 기반으로 Ran Score라는 찾기 수준 평가 지표를 제안한다. MIMIC‑CXR‑EN과 독립적인 ChestX‑CN 데이터셋에서 프롬프트 최적화를 수행해 매크로 평균 F1 점수를 0.753에서 0.956으로 향상시켰으며, 기존 CheXbert 대비 15.7%p 높은 성능을 보였다. Ran Score는 특히 저발생 이상에 대한 민감도를 높여 보고서 생성 모델의 임상적 충실도를 정량화한다.

상세 분석

이 논문은 방사선 보고서 자동 생성의 핵심 과제인 임상적 타당성 평가를 해결하기 위해 인간‑LLM 협업 프레임워크를 설계하였다. 먼저 3,000건의 MIMIC‑CXR 보고서를 탐색적으로 분석해 21개의 이상 라벨을 정의했으며, 이는 기존 CheXbert이 다루지 못하는 기관별·병변별 세부 항목을 포함한다. 라벨 정의 단계에서는 LLM을 텍스트 마이닝과 군집화에만 활용하고, 최종 라벨링은 6명의 전문 흉부 방사선과 의사가 독립적으로 이진 판정을 내린 뒤 다수결(≥4/6)로 기준을 구축하였다.

프롬프트 최적화는 세 차례의 Delphi 회의를 통해 라벨별 정확도 90% 이상(코헨 κ≥0.90)을 목표로 설정하고, 오류 분석 결과에 기반해 동의어, 부정 표현, 모호한 서술을 보완하는 예시를 추가하였다. Qwen‑3‑14B를 기본 모델로 선택한 이유는 오픈‑웨이트와 로컬 배포 가능성 때문이며, 동일 프롬프트를 적용해 Qwen‑Plus, GPT‑3.5‑Turbo, GPT‑4o‑mini, DeepSeek‑R1 등과 비교하였다. 최적화 후 Qwen‑3‑14B는 매크로 평균 F1 0.956을 달성했으며, 특히 저발생 라벨(예: 기흉, 공동·낭성 병변)에서 기존 자동 라벨러보다 현저히 높은 재현율을 보였다.

보고서 생성 모델 평가에서는 7개의 최신 모델이 생성한 보고서를 동일 프롬프트 기반 라벨링 파이프라인에 통과시켜 원본 보고서와 비교하였다. 원본과 생성 보고서 간 라벨 일치율을 매크로 평균 F1로 정의한 Ran Score는 각 라벨에 동일 가중치를 부여해 저발생 이상 누락을 민감하게 탐지한다. 실험 결과, Ran Score는 기존 BLEU·ROUGE·CIDEr와 같은 표면적 지표보다 방사선 전문의가 판단한 임상적 정확도와 높은 상관관계를 나타냈다.

또한, 독립적인 ChestX‑CN(중국어) 코호트에서도 동일 프롬프트와 라벨 체계를 적용했을 때 성능 저하가 미미하여 프레임워크의 언어·기관 간 일반화 가능성을 입증했다. 한계점으로는 라벨링 과정에서 ‘불확실’(–1) 사례를 배제했기 때문에 실제 임상에서의 의심 상황을 완전히 반영하지 못한다는 점, 그리고 라벨 수가 21개에 국한되어 있어 더 세분화된 진단 항목에 대한 확장성이 필요하다는 점을 들 수 있다. 향후 연구에서는 다중 라벨 불확실도 추정, 라벨 체계 확장, 그리고 멀티모달 이미지‑텍스트 통합을 통한 end‑to‑end 학습을 목표로 할 수 있다.