흉부 엑스레이 진단을 위한 근거 기반 추론 에이전트 CXReasonAgent

**1. 서론** 흉부 엑스레이는 전 세계적으로 가장 많이 사용되는 영상 진단 도구이며, 그 해석은 다단계의 복합 추론을 요구한다. 기존 대형 비전‑언어 모델(LVLM)은 텍스트와 이미지를 동시에 처리할 수 있지만, 의료 현장에서 요구되는 “근거 기반”의 투명성·검증 가능성을 제공하지 못한다. 특히, 모델이 생성한 진단이 실제 영상 증거와 일치하는지 확인할 방법이 부족하고, 새로운 진단 과제에 대응하기 위해서는 전체 모델을 재학습해야 하는 비용 문제가 존재한다. **2. 관련 연구** LVLM, 의료 영상 자동 진단, 그리고 LLM을 활용한 임상 의사결정 지원에 관한 선행 연구들을 정리한다. 기존 접근법은 (i) 이미지‑텍스트 쌍을 대규모로 학습해 일반화된 답변을 생성하거나, (ii) 별도의 영상 분석 모델을 훈련시켜 진단 라벨을 예측한다. 그러나 두 경우 모두 “왜 이런 진단을 내렸는가”에 대한 근거를 명시적으로 제공하지 못한다. **3. CXReasonAgent 설계** CXReasonAgent는 세 가지 핵심 모듈로 구성된다. - **영상 진단 도구 모음**: 사전 학습된 폐병변 분할 모델, 질병 분류 모델, 그리고 자동 레포트 생성 모델을 포함한다. 각 도구는 이미지 입력에 대해 구조화된 메타데이터(예: 병변 좌표, 확률 점수)와 시각적 증거(heatmap, bounding box)를 반환한다. - **LLM 중심 추론 엔진**: GPT‑4‑Turbo 기반의 LLM을 사용하며, 도구 출력과 이미지 메타데이터를 프롬프트에 삽입한다. 메타프롬프트는 “제공된 증거를 인용하고, 가능한 경우 관련 문헌을 언급하라”는 규칙을 포함한다. - **증거 시각화 및 통합 인터페이스**: LLM이 생성한 텍스트와 함께, 해당 텍스트에 매핑된 이미지 영역을 강조한 시각적 증거를 자동으로 합성한다. **4. 증거 기반 추론 메커니즘** 1) **도구 호출**: 사용자가 질문을 입력하면 에이전트는 질문 유형을 파악하고, 해당하는 영상 도구를 호출한다. 2) **증거 정제**: 도구 출력은 신뢰도 점수와 함께 정제되어 LLM에게 전달된다. 불확실한 결과는 “추가 검증 필요”라는 메타 정보를 포함한다. 3) **LLM 추론**: LLM은 증거를 기반으로 단계별 논리 흐름을 생성하고, 최종 진단과 함께 근거 문장을 만든다. 4) **시각적 증거 매핑**: 텍스트 내에 언급된 병변이나 영역을 자동으로 이미지에 매핑해 하이라이트한다. **5. CXReasonDial 벤치마크** 12개의 진단 과제(폐렴, 결핵, 폐암, 폐기종 등)와 1,946개의 다중 턴 대화를 수집·구성하였다. 각 대화는 (질문, 답변, 근거 인용, 시각적 증거) 네 요소를 포함하도록 설계되었으며, 임상 전문가가 검증한 정답 라벨을 제공한다. **6. 실험 및 결과** - **진단 정확도**: CXReasonAgent는 평균 84.3%의 정확도를 기록했으며, 동일 조건의 LVLM은 71.2%에 머물렀다. - **근거 인용 정확도**: 에이전트는 92.5%의 근거 인용 정확도를 달성했으며, LVLM은 58.7%에 불과했다. - **시각적 증거 일치율**: 자동 매핑된 이미지 영역이 실제 병변과 겹치는 비율은 89.1%였고, LVLM은 45.3%였다. - **인간 평가**: 10명의 방사선과 전문의가 blind 평가를 진행했으며, CXReasonAgent의 답변을 “신뢰할 수 있다”고 평가한 비율은 81%로 LVLM 대비 30%p 상승했다. **7. Ablation Study** 도구 없이 순수 LLM만 사용할 경우 진단 정확도가 68%로 급감했으며, 시각적 증거 없이 텍스트만 제공할 경우 근거 인용 정확도가 65% 수준으로 감소했다. 이는 각각의 구성 요소가 시스템 전체 신뢰성에 기여함을 보여준다. **8. 논의 및 한계** - **도구 오류 전이**: 영상 도구가 잘못된 병변을 탐지하면 LLM도 그 오류를 그대로 인용한다. 이를 완화하기 위해 다중 도구 앙상블 및 불확실성 추정 기법을 도입할 필요가 있다. - **작업 확장성**: 현재 12가지 작업에 최적화돼 있으나, 새로운 질병이나 복합 진단 시 도구와 프롬프트를 추가로 설계해야 한다. - **멀티모달 학습 부재**: 프롬프트 기반 연동은 재학습 비용을 낮추지만, 이미지와 텍스트 간 깊은 공동 표현 학습이 부족해 복잡한 패턴 인식에 한계가 있다. **9. 결론 및 향후 연구** CXReasonAgent는 대형 언어 모델에 임상 영상 진단 도구를 결합함으로써, 흉부 엑스레이 해석에서 근거 기반·시각적 검증 가능한 추론을 실현했다. 향후 연구에서는 (i) 도구 간 상호 검증 메커니즘, (ii) 전자의무기록(EMR)과의 연계, (iii) 멀티모달 사전 학습을 통한 보다 풍부한 이미지‑텍스트 공동 표현 학습을 목표로 한다. 이러한 방향은 의료 AI가 안전하고 신뢰할 수 있는 임상 지원 시스템으로 자리매김하는 데 핵심이 될 것이다.