진단 불확실성을 줄이는 정보 탐색 AI 에이전트 MedClarify

초록

MedClarify는 대형 언어 모델(LLM)을 기반으로 환자 사례에서 후보 진단군을 생성하고, 진단 엔트로피 감소를 목표로 하는 정보이득(DEIG) 계산을 통해 가장 유용한 추 follow‑up 질문을 선택한다. 질문‑답변 과정을 반복해 베이즈식으로 확률을 업데이트함으로써 차별화된 질문을 제시하고, 기존 단일‑샷 LLM 대비 약 27 %p(≈48 % 오류 감소)의 진단 정확도 향상을 달성한다.

상세 분석

본 논문은 임상 현장에서 “역사 청취”라는 반복적 정보 탐색 과정을 AI가 모방하도록 설계된 MedClarify 시스템을 제안한다. 핵심 아이디어는 두 단계로 나뉜다. 첫째, LLM(Llama 3.3‑70B)을 이용해 입력된 환자 서술로부터 후보 진단 리스트와 각 진단에 대한 초기 확률(신뢰도)을 생성한다. 여기서 단순 확률값이 아니라 ICD‑11 코드 기반의 의미적 유사성을 반영해 ‘질병 군’ 수준의 엔트로피를 계산한다는 점이 차별점이다. 질병 간 유사도는 ICD 챕터·섹션 간의 구조적 관계와 사전 정의된 시멘틱 매트릭스(SIM)로 정량화되며, 이는 비슷한 서브타입이 서로 독립적인 오류 원인으로 과대평가되는 것을 방지한다.

둘째, 각 후보 진단에 대해 “구별 질문”(discriminatory)과 “탐색 질문”(exploratory)을 자동 생성하고, 각각에 대해 기대 정보이득(EIG)을 추정한다. 논문에서는 EIG에 두 개의 보정 항목을 추가한다. 첫 번째는 질병 군 간 발산(Div)으로, 질문이 여러 질병 군을 동시에 배제할 경우 가중치를 높인다. 두 번째는 질병 집중도(Con)로, 특정 질병에 대한 확신이 이미 높은 경우 질문의 효용을 낮춘다. 최종 선택 함수는
q* = arg max