AI를 믿을 수 있을까 신뢰할 수 있는 AI 진단을 위한 의사 인식 연구

초록

본 논문은 대형 언어 모델(LLM)이 의료 진단에 제공하는 지원을 의사들이 어떻게 인식하고 신뢰하는지를 조사한다. 9개의 임상 사례와 37명의 의사 평가자를 활용해 LLM의 진단 분석을 평가 차원별로 점수화하고, 이를 ‘지각된 능력 점수(Perceived Capability Score)’로 정량화하였다. 이 점수를 기존 의료 벤치마크 성능과 비교한 결과, 의사들의 주관적 인식은 객관적 성능과 비선형적으로 연관되어 있음을 확인했다. 연구는 임상 추론 과정에서 의사들이 중시하는 요소와 현재 벤치마크가 포착하지 못하는 평가 기준을 제시하며, 신뢰성 있는 인간‑AI 협업을 위한 설계 시사점을 제공한다.

상세 분석

이 연구는 LLM 기반 진단 지원 시스템이 실제 임상 현장에 적용될 때 가장 큰 장애물 중 하나인 ‘신뢰 형성’ 문제를 정량적·정성적으로 파악한다. 먼저, 저자들은 9개의 다양한 전문 분야 임상 케이스를 설계하고, 각 케이스에 대해 LLM(GPT‑4, Claude 3, Gemini 1.5 등)과 인간 전문가가 생성한 진단 분석을 수집하였다. 이후 11명의 파일럿 의사가 초기 평가 차원을 도출하고, 최종 37명의 평가자가 5가지 차원(진단 정확도, 임상 적합성, 추론 일관성, 설명 가능성, 위험 완화)으로 각각의 분석을 점수화하고 전체 순위를 매겼다.

점수와 순위 데이터를 다변량 회귀 모델에 적용해 ‘지각된 능력 점수’를 산출했으며, 이 점수와 공개된 의료 벤치마크(USMLE, MedQA 등) 성능 사이의 상관관계를 분석했다. 결과는 LLM 성능이 향상될수록 지각된 능력 점수도 상승하지만, 상승 폭은 점점 감소하는 포화 현상을 보였다. 즉, 의사들은 일정 수준 이상의 객관적 정확도보다 ‘추론 과정의 투명성’이나 ‘임상 상황에 맞는 설명’ 등을 더 중시한다는 것이다.

또한, 차원별 가중치를 살펴보니 ‘임상 적합성’과 ‘위험 완화’가 전체 신뢰 평가에 가장 큰 영향을 미쳤으며, ‘설명 가능성’은 중간 수준, ‘진단 정확도’는 예상보다 낮은 가중치를 보였다. 이는 기존 벤치마크가 주로 정답률에 초점을 맞추는 반면, 실제 임상에서는 결과보다 과정과 안전성에 대한 의사의 기대가 더 크다는 점을 시사한다.

연구는 또한 ‘신뢰 보정(trust calibration)’ 메커니즘의 필요성을 강조한다. LLM이 제공하는 불확실성 추정, 단계별 설명, 사용자 맞춤형 피드백 등이 의사의 주관적 인식을 객관적 성능과 정렬시키는 데 기여할 수 있다. 마지막으로, 저자들은 인간‑AI 협업 인터페이스 설계 시 ‘평가 차원 가시화’, ‘실시간 성능 피드백’, ‘임상 워크플로우와의 자연스러운 통합’ 등을 권고한다.