다국어 의료 언어 모델 신뢰성 평가 벤치마크 CLINIC

초록

CLINIC은 15개 언어와 6개 의료 분야를 아우르는 18개의 신뢰성 과제(진실성, 공정성, 안전성, 견고성, 프라이버시)를 제공하는 최초의 다국어 의료 벤치마크이다. 13개의 최신 언어 모델을 평가한 결과, 대형 모델조차 사실 오류와 편향, 프라이버시 유출, 적대적 공격에 취약함을 확인했다.

상세 분석

본 논문은 의료 현장에서 LLM(Large Language Model)의 실용화를 가로막는 핵심 문제인 ‘신뢰성’을 체계적으로 측정하기 위해 CLINIC이라는 다국어 벤치마크를 설계하였다. 먼저 데이터 소스로 미국 국립의학도서관(NLM)의 MedlinePlus와 FDA 약품 문서를 선택했으며, 이는 고품질 영문 콘텐츠와 검증된 다국어 번역본을 동시에 제공한다는 점에서 다른 의료 데이터셋과 차별화된다. 언어는 고자원(영어, 중국어, 스페인어 등), 중자원(러시아어, 베트남어, 벵골어) 및 저자원(스와힐리어, 하우사어, 네팔어, 소말리어)으로 구분해 15개 언어를 균등하게 샘플링함으로써 언어별 편향을 최소화하였다.

질문 생성 파이프라인은 두 단계 프롬프트 방식을 채택한다. 첫 단계에서 LLM을 이용해 영문 원문(p_EN)으로부터 질문(q_EN)을 생성하고, 두 번째 단계에서는 동일 LLM에 영문 질문, 영문 본문, 목표 언어 번역본(p_TL)을 입력해 목표 언어 질문(q_TL)을 만든다. 이렇게 생성된 질문은 의료 전문가가 검증하고, 22명의 원어민이 언어 품질을 평가해 평균 3.9/5점(코헨 κ=0.82)의 높은 일관성을 확보했다.

벤치마크는 진실성(허위 자신감, 허위 질문, ‘None of the Above’ 테스트), 공정성(인물·선호 기반 편향), 안전성(독성, 과장된 안전 주장, 탈옥), 견고성(아웃‑오브‑도메인, 적대적 변형), 프라이버시(정보 누출) 등 5대 축을 18개의 세부 과제로 구체화한다. 평가 메트릭은 정확도, 유사도 점수, 정직성 점수 등으로 정의했으며, LLM의 답변을 외부 LLM 심판이 자동 채점한다.

실험 결과, 최신 상용 모델(GPT‑4o‑mini, Gemini‑2.5‑Pro 등)이 전반적으로 높은 정확도를 보였지만, 저자원 언어에서는 평균 정확도가 10~15% 감소하고, 허위 자신감 점수도 상승했다. 특히 의료 특화 모델(OpenBioLLM‑8B, UltraMedical 등)은 대형 범용 모델에 비해 허위 정보 생성률이 높고, 프라이버시 누출 점수도 악화되는 경향을 보였다. 공정성 측면에서는 인물 기반 테스트에서 권위가 높은 ‘전문의’ 페르소나에 과도히 동조하는 경향이 관찰됐으며, 이는 문화·언어적 배경에 따라 편향 정도가 달라졌다. 안전성 테스트에서는 독성 및 과장된 안전 주장 점수가 저자원 언어에서 유의하게 높아, 모델이 해당 언어의 의료 용어와 규범을 충분히 학습하지 못했음을 시사한다.

한계점으로는 질문 생성에 사용된 LLM 자체가 편향을 내포할 가능성, 평가용 외부 LLM 심판의 객관성 문제, 그리고 저자원 언어에 대한 번역 품질 검증이 상대적으로 부족한 점을 들 수 있다. 향후 연구에서는 인간 평가자를 확대하고, 프롬프트 설계와 번역 검증을 강화해 데이터 품질을 더욱 높이는 것이 필요하다. 또한, CLINIC을 기반으로 지속적인 모델 업데이트와 피드백 루프를 구축함으로써, 다국어 의료 AI의 신뢰성을 단계적으로 향상시킬 수 있을 것이다.