보조생식술 임상추론의 신뢰성: 대형 언어모델 프롬프트 설계 비교 연구

초록

본 연구는 보조생식술 분야에서 대형 언어모델이 생성한 임상 사고 흐름(Chain‑of‑Thought, CoT)의 신뢰성을 평가한다. 3가지 프롬프트 전략(제로샷, 무작위 few‑shot, 선택적 few‑shot)을 사용해 생성된 CoT를 고위 임상의가 논리적 명료성, 핵심 정보 활용, 임상 정확성 측면에서 평가했으며, 선택적 few‑shot이 다른 두 전략을 모두 통계적으로 능가함을 확인했다. 또한 최신 AI 평가모델(GPT‑4o)은 이러한 차이를 감지하지 못함을 보여, 인간 전문가의 평가가 여전히 필수적임을 강조한다. 연구는 “골드‑스탠다드 깊이”와 “대표적 다양성”이라는 두 가지 사전 프레임워크를 제시하여, 신뢰할 수 있는 CoT 생성을 위한 프롬프트 설계 원칙을 제안한다.

상세 요약

이 논문은 임상 AI 연구에서 가장 시급한 문제 중 하나인 고품질 임상 사고 흐름(Chain‑of‑Thought, CoT)의 데이터 부족을 LLM을 활용해 해결하려는 시도를 체계적으로 검증한다. 연구 설계는 세 가지 프롬프트 전략을 비교하는 블라인드 방식으로, 제로샷(zero‑shot)은 사전 예시 없이 모델에 질문만 제시하고, 무작위 few‑shot(random few‑shot)은 임상 깊이가 얕고 품질이 낮은 예시를 무작위로 제공하며, 선택적 few‑shot(selective few‑shot)은 ‘골드‑스탠다드 깊이(gold‑standard depth)’와 ‘대표적 다양성(representative diversity)’을 만족하는 고품질 예시를 선별해 제공한다는 점에서 차별화된다.

임상 평가자는 3가지 핵심 척도—논리적 명료성, 핵심 정보 활용, 임상 정확성—에 대해 5점 리커트 척도로 평가했으며, 통계 분석 결과 선택적 few‑shot이 다른 두 전략에 비해 모두 p < .001 수준으로 유의하게 우수함을 보였다. 특히 무작위 few‑shot은 제로샷과 거의 차이가 없으며, 저품질 예시가 오히려 모델의 출력 품질을 저해하지도, 향상시키지도 못한다는 점을 명확히 했다. 이는 LLM이 단순히 예시 수에 의존하는 것이 아니라, 예시의 질과 다양성이 프롬프트 설계의 핵심 변수임을 시사한다.

흥미로운 부수 결과는 AI 평가 모델인 GPT‑4o가 인간 전문가가 감지한 성능 차이를 거의 인식하지 못했다는 점이다. 이는 현재의 자동화된 평가 메트릭이 임상 맥락에서 요구되는 미묘한 논리적·의학적 차이를 포착하기에 한계가 있음을 보여준다. 따라서 임상 AI 시스템의 검증 단계에서 인간 전문가의 블라인드 평가가 여전히 필수적이라는 결론을 뒷받침한다.

연구는 또한 ‘골드‑스탠다드 깊이’와 ‘대표적 다양성’이라는 두 가지 사전 프레임워크를 제안한다. 전자는 임상 사례가 충분히 상세하고, 진단·치료 과정의 모든 핵심 단계가 포함된 깊이를 의미하며, 후자는 다양한 환자 특성(연령, 불임 원인, 치료 단계 등)과 임상 상황을 포괄하도록 사례를 선정하는 원칙이다. 이러한 프레임워크는 향후 대규모 CoT 데이터베이스 구축 시 품질 관리 기준으로 활용될 수 있다.

결론적으로, 본 연구는 LLM 기반 임상 CoT 생성에서 프롬프트 설계가 핵심 성공 요인이며, 무작위 예시 추가가 효과적이지 않음을 실증적으로 입증한다. 또한 인간 전문가의 블라인드 평가가 자동화된 AI 평가를 보완해야 함을 강조함으로써, 향후 임상 AI 개발 및 검증 프로세스에 중요한 지침을 제공한다.