건강 AI 준비의 환상

초록

대형 언어 모델(LLM)이 의료 시험에서 높은 점수를 받지만, 이미지가 누락되거나 질문 형식이 약간 바뀌면 성능이 급락한다. 저자들은 6가지 적대적 스트레스 테스트와 임상의가 만든 평가 루브릭을 통해 현재 멀티모달 의료 벤치마크가 실제 임상 요구를 제대로 측정하지 못함을 밝혀냈다. 결과는 현존 모델이 시각적 추론과 견고한 논리 구성에서 큰 격차를 보이며, 실사용 전 보다 엄격한 검증이 필요함을 시사한다.

상세 분석

이 논문은 최신 LLM, 특히 GPT‑5, GPT‑4o, Gemini‑2.5 Pro 등을 멀티모달 의료 진단 과제에 적용했을 때 나타나는 구조적 취약점을 체계적으로 드러낸다. 먼저 이미지 제거 테스트(T1)에서는 이미지가 필수인 NEJM·JAMA 데이터셋에서 이미지 없이도 30 % 이상의 정확도를 유지하는 모델이 다수 존재함을 확인했다. 이는 텍스트만으로도 충분히 정답을 추론하거나, 사전 학습된 이미지‑텍스트 연관성을 암묵적으로 활용한다는 의미다. 특히 GPT‑4o는 이미지가 없을 때 높은 포기(abstention) 비율을 보여, 불확실성을 인식하는 행동 양식이 다른 모델과 차별화된다.

두 번째 테스트(T2)는 시각적 정보가 반드시 필요한 NEJM‑VS 서브셋을 대상으로, 이미지 없이도 2배 이상(≈40 %)의 정확도를 기록한 결과를 제시한다. 이는 “시각적 필요성”을 판단하지 못하고, 질병 유병률이나 흔히 연관된 키워드에 의존하는 ‘shortcut learning’이 작동함을 의미한다.

포맷 민감도 테스트(T3)에서는 정답 선택지 순서를 무작위로 바꾸면 텍스트 전용 입력에서 정확도가 현저히 떨어진다. 이는 모델이 위치적 힌트(예: A‑E 순서)나 선택지 패턴에 과도하게 의존한다는 증거다. 반면 이미지가 제공될 경우 시각적 근거가 보강되어 성능 저하가 완화된다.

디스트랙터 조작(T4)에서는 잘못된 선택지를 ‘Unknown.’으로 교체하거나 전혀 무관한 선택지로 대체했을 때, 모델이 ‘Unknown’ 옵션을 쉽게 배제하고 정답을 추정하는 경향을 보였다. 이는 모델이 불확실 상황에서 적절히 포기하지 못하고, 억지로 추론을 강제한다는 위험을 드러낸다.

시각적 대체 테스트(T5)에서는 정답에 결정적인 영향을 미치는 이미지를 임상적으로 타당한 다른 이미지로 교체했다. 대부분의 모델이 정확도가 30 % 이상 급락했으며, GPT‑4o만이 비교적 안정적인 성능을 유지했다. 이는 현재 LLM이 이미지‑텍스트 통합이 얕고, 이미지 자체를 깊이 이해하기보다는 텍스트와의 연관성을 표면적으로 매핑한다는 한계를 명확히 보여준다.

마지막으로 모델이 생성한 추론 과정(T6)을 검증했을 때, 정답을 맞추더라도 근거가 전혀 맞지 않거나, 전혀 없는 이미지에 대해 설득력 있는 설명을 만들어 내는 ‘fabricated reasoning’ 현상이 빈번히 관찰되었다. 이는 임상 현장에서 신뢰할 수 있는 설명 가능성을 요구하는 상황과 크게 괴리된다.

전체적으로 저자들은 이러한 스트레스 테스트가 기존 벤치마크가 과대평가하는 ‘정확도’ 지표를 보완하고, 실제 임상 적용에 필요한 ‘시각적 이해’, ‘논리적 일관성’, ‘불확실성 관리’ 등을 평가하는 새로운 프레임워크를 제시한다는 점에서 의의가 크다.