추론 기반 대형언어모델이 임상 문서 분류에 미치는 영향

초록

본 연구는 MIMIC‑IV 퇴원 요약을 대상으로 8개의 대형언어모델(LLM)을 비교한다. 추론형 모델 4종과 비추론형 모델 4종을 3회 반복 실행 후 다수결로 최종 라벨을 결정했으며, 정확도·F1·일관성을 평가했다. 추론형 모델은 평균 정확도 71%, F1 67%로 비추론형(68%, 60%)보다 우수했지만, 일관성은 낮아 비추론형이 91%에 비해 84%에 머물렀다. Gemini Flash Thinking이 가장 높은 정확도(75%)와 F1(76%)을 기록했으며, 복잡한 진단에 강점을 보였다. 결과는 정확도와 안정성 사이의 트레이드오프를 보여주며, 두 유형을 결합한 하이브리드 접근이 최적의 임상 코딩을 구현할 수 있음을 시사한다.

상세 분석

본 논문은 임상 문서 자동 코딩이라는 실용적 과제에 LLM의 추론 능력이 실제 성능 향상으로 이어지는지를 정량적으로 검증한다. 데이터는 MIMIC‑IV에서 추출한 3,000개의 퇴원 요약으로, 상위 10개 ICD‑10 코드별로 양성·음성 샘플을 각각 150개씩 균형 있게 구성하였다. cTAKES를 활용해 텍스트를 SNOMED 코드와 그 맥락(affirmation/negation)으로 구조화함으로써, 원문 길이를 크게 축소하고 모델 입력을 표준화하였다.

실험에 사용된 8개 LLM은 추론형(Qwen QWQ, Deepseek Reasoner, GPT‑o3 Mini, Gemini Flash Thinking)과 비추론형(Llama 3.3, GPT‑4o Mini, Gemini Flash, Deepseek Chat)으로 구분된다. 각 모델은 동일한 프롬프트(“Discharge Summary: … Does this summary contain the diagnosis associated with ICD‑10 code …? Answer Yes or No only.”)를 3번 실행했으며, 다수결 방식으로 최종 라벨을 도출했다.

성능 지표는 정확도와 F1 점수, 그리고 일관성(세 번 실행 중 동일 라벨을 부여한 비율)이다. 추론형 모델은 평균 정확도 71%, F1 67%를 기록했으며, 특히 복합적인 임상 표현이나 추상적 진단 카테고리에서 비추론형보다 우수한 판별력을 보였다. 반면, 일관성 면에서는 비추론형이 91%로 더 안정적이었다. 가장 뛰어난 모델은 Gemini Flash Thinking으로, 정확도 75%, F1 76%를 달성했으며, 이는 복잡한 문맥을 해석하고 논리적 추론을 수행하는 능력이 실제 코딩 정확도로 전이된 사례라 할 수 있다.

반면, GPT‑4o Mini는 가장 낮은 정확도(64%)와 F1(47%)를 보였으며, 이는 모델 규모·프롬프트 최적화·도메인 적합성 부족이 원인일 가능성이 있다. 코드별 성능 분석에서는 심혈관계·감염증 등 명확한 임상 패턴을 가진 코드에서 전반적으로 높은 정확도를 기록했지만, ‘기타·불명확’ 카테고리에서는 모두 낮은 점수를 보였다. 이는 현재 LLM이 의료 전문 용어와 복합 관계를 완전히 파악하기엔 한계가 있음을 시사한다.

논문은 정확도와 일관성 사이의 트레이드오프를 강조한다. 추론형 모델은 높은 정확도를 제공하지만 변동성이 크고, 비추론형은 안정적이지만 정확도가 다소 낮다. 따라서 두 모델을 조합한 앙상블이나 하이브리드 전략이 실무 적용에 유리할 것으로 제안한다. 향후 연구 방향으로는 다중 라벨 분류, 의료 도메인에 특화된 파인튜닝, 그리고 다양한 모델을 결합한 앙상블 기법을 통해 성능과 일반화를 동시에 향상시키는 방안을 제시한다.