평가 형식이 소비자 건강 AI 삼투 실패를 좌우한다

초록

Ramaswamy 등은 ChatGPT Health가 응급 상황을 51.6% 과소평가한다는 결과를 발표했지만, 그 평가는 강제 A/B/C/D 선택과 지식 억제 등 시험형식에 국한돼 있었다. 본 연구는 다섯 개 최신 LLM을 동일한 17개 시나리오에 대해 시험형식(제한)과 실제 사용자와 유사한 자연어형식(자연스러운) 두 조건에서 비교했다. 자연스러운 대화에서는 삼투 정확도가 6.4%p 상승했으며, 특히 천식 사례에서 48%→80%로 크게 개선되었다. 강제 선택 형식이 주요 실패 요인임을 확인했으며, 동일 모델이라도 자유 텍스트에서는 100% 응급 권고를 내놓았다. 따라서 헤드라인 과소평가율은 평가 형식에 크게 의존하며, 실제 배포 환경을 반영한 평가가 필요하다.

상세 분석

본 논문은 Ramaswamy et al.이 제시한 “ChatGPT Health는 51.6%의 응급 상황을 과소평가한다”는 결론에 대한 재현성을 검증한다. 핵심은 평가 프로토콜 자체가 실제 소비자와의 인터랙션과 크게 다르다는 점이다. 원 논문은 (1) 강제 A/B/C/D 선택, (2) “이 메시지에만 근거하라”는 지식 억제, (3) 명확화 질문 금지라는 세 가지 제약을 두었다. 이러한 제약은 모델이 자신의 내부 지식을 활용하거나 추가 정보를 요청할 여지를 없애, 인간이 시험지에 답하는 상황과 유사하게 만든다. 그러나 실제 소비자용 챗봇은 자유로운 서술, 추가 질문, 그리고 과거 대화 기록을 활용한다.

연구팀은 GPT‑5.2, Claude Sonnet 4.6, Claude Opus 4.6, Gemini 3 Flash, Gemini 3.1 Pro 등 다섯 개 최신 LLM을 선정하고, 17개의 임상 시나리오(당뇨병성 케톤산증, 천식 악화 등)를 두 가지 조건에 투입했다. 제한 조건에서는 원 논문의 스캐폴드와 동일하게 1,275번의 시도(모델 × 시나리오 × 프롬프트 변형 × 5회)를 수행했고, 자연스러운 조건에서는 환자가 실제로 입력할 법한 문장을 850번(모델 × 시나리오 × 2가지 변형 × 5회) 제공했다.

결과는 두드러졌다. 제한 조건에서는 모델별·프롬프트 변형별 정확도 차이가 크지 않았지만(χ² = 4.65, p = 0.098), 자연스러운 조건에서는 평균 정확도가 70.1%로 63.6%를 넘어 6.4%p 상승했다(p = 0.015). 특히 천식 시나리오에서 제한 조건 48%→자연스러운 조건 80%로 크게 개선되었다. 가장 중요한 메커니즘은 강제 A/B/C/D 선택 자체였다. 동일한 천식 케이스에 대해 강제 선택을 요구했을 때 GPT‑5.2는 16%만 정답을 맞췄지만, 자유 텍스트에서는 100%가 응급 치료를 권고했다. Gemini 3 Flash와 3.1 Pro도 동일한 패턴을 보였으며, 이는 모델이 실제로는 적절한 응급 권고를 내놓지만 형식적 제한 때문에 과소평가되는 현상을 입증한다. Claude 계열은 강제 선택에서도 100% 정확도를 유지했는데, 이는 모델 아키텍처와 프롬프트 해석 방식이 강제 선택에 더 잘 맞는다는 점을 시사한다.

프롬프트‑충실도 검증에서도 원 논문의 정확히 동일한 프롬프트를 사용했을 때 모델·케이스별 결과가 크게 달라지는 것을 확인했다. 인구통계 변형(성별·인종·앵커 등)에서도 GPT‑5.2는 일관된 응급 판단을 보였지만 Claude Opus는 변형에 따라 크게 달라졌다. 이는 스캐폴드 자체가 중립적인 측정 도구가 아니라 모델에 따라 편향을 유발한다는 점을 강조한다.

결론적으로, 과소평가율은 평가 형식—특히 강제 선택과 지식 억제—에 크게 좌우된다. 실제 배포 환경에서는 사용자가 자유롭게 서술하고, 챗봇이 추가 질문을 통해 정보를 보완할 수 있기 때문에 단일턴, 강제 선택 프로토콜로 얻은 과소평가율을 그대로 일반화하는 것은 위험하다. 향후 연구는 다중 턴 대화, 메모리 활용, 그리고 실제 사용자 피드백을 포함한 평가 프레임워크를 구축해야 한다.