여성건강을 위한 대형언어모델 벤치마크

초록

본 논문은 여성 건강 분야에 특화된 최초의 평가 체계인 Women’s Health Benchmark(WHB)를 제시한다. 5개 전문 분야·3가지 질의 유형·8가지 오류 유형을 포함한 96개의 검증된 스텀프를 구축하고, 13개의 최신 LLM을 시험하였다. 전체 모델의 평균 실패율은 약 60%에 달했으며, 특히 ‘응급성 누락’ 오류에서 모든 모델이 낮은 성능을 보였다. 최신 모델인 GPT‑5는 부적절한 권고 회피에서 개선된 모습을 보였지만, 여전히 여성 건강 상담에 신뢰할 수 있는 수준에 미치지 못한다는 결론을 도출한다.

상세 분석

WHB는 여성 건강이라는 좁은 영역에 초점을 맞춘 점에서 기존 일반 의료 벤치마크와 차별화된다. 데이터는 산부인과, 응급의학, 1차진료, 종양학, 신경학 등 다섯 전문 분야에서 임상 가이드라인·전문가 인터뷰·실제 환자 사례를 교차 검증하여 96개의 스텀프를 도출하였다. 질의 유형은 환자 입장에서의 일상 질문, 임상의가 요구하는 전문적 정보, 정책·근거 기반 질문으로 구분돼 모델의 다중 역할 수행 능력을 평가한다. 오류 유형은 용량·약물 오류, 핵심 정보 누락, 구시대적 가이드라인 적용, 치료 권고 오류, 사실 오류, 감별 진단 오류, 응급성 누락, 부적절한 권고 등 여덟 가지로 정의돼, 각 오류가 실제 임상 위험에 미치는 영향을 정량화한다.

평가에서는 13개 LLM을 동일한 프롬프트로 테스트했으며, 정답률은 전체 평균 40% 수준이었다. 분야별로는 산부인과와 종양학에서 상대적으로 높은 성능을 보였으나, 응급의학과 신경학에서는 30% 이하로 급락했다. 오류 유형별 분석에서는 ‘응급성 누락’이 70% 이상 발생해 가장 위험한 약점으로 드러났으며, ‘부적절한 권고’는 최신 모델에서 20% 이하로 감소하는 등 모델 버전 간 차이가 관찰되었다. 또한, 모델이 최신 가이드라인을 반영하지 못하는 경우가 빈번했으며, 약물 용량과 같은 정량적 정보에서 오차가 크게 나타났다. 이러한 결과는 LLM이 여성 특유의 임상 상황과 급박한 응급 판단을 충분히 학습하지 못했음을 시사한다.