아랍어 의료 질문답변 대규모 벤치마크 MedAraBench 소개

초록

MedAraBench는 19개 의료 전공과 5단계 난이도를 포괄하는 24,883개의 아랍어 객관식 의료 질문·답변 쌍을 제공한다. 데이터는 지역 의료 전문가가 만든 시험지를 직접 디지털화하고 엄격히 전처리·필터링한 뒤, 80%/20% 비율로 학습·테스트 셋을 구성하였다. 품질 평가는 임상 전문가 2인의 이중 블라인드 평가와 LLM‑as‑judge 방식을 병행했으며, GPT‑5, Gemini 2.0 Flash, Claude 4‑Sonnet 등 16개 최신 모델을 제로샷, 몇‑샷, LoRA 파인튜닝 조건에서 벤치마크하였다. 결과는 현재 모델들의 아랍어 의료 추론 능력이 제한적임을 보여주며, 도메인 특화 데이터와 평가 체계의 필요성을 강조한다.

상세 분석

본 논문은 아랍어 의료 자연어 처리 분야의 근본적인 데이터 부족 문제를 해결하고자, 실제 의료 교육 현장에서 사용되는 시험지를 원본 스캔본으로부터 수집·디지털화하는 과정을 상세히 기술한다. 34,333개의 원시 MCQ 중 29%를 제거해 24,883개의 고품질 질문을 확보했으며, 각 질문은 답안 선택지 수(4~6개), 난이도(Y1‑Y5), 전공(19개)이라는 메타데이터와 함께 제공된다. 데이터 전처리 단계에서는 중복·오답·포맷 오류를 수작업으로 검증하고, 5가지 난이도 레벨을 교육 과정에 맞춰 매핑함으로써 실제 의학 교육과의 연계성을 확보했다.

품질 검증은 두 축으로 진행된다. 첫째, 임상 전문의 2명이 ‘의료 정확성’, ‘임상 관련성’, ‘문제 난이도’, ‘질문 품질(명료성·옵션 동질성·단일 정답·힌트 방지)’ 네 가지 항목을 95% 신뢰수준·±5% 오차 범위로 선정된 378개 샘플에 대해 이중 블라인드 평가를 수행했으며, Cohen’s κ를 통해 중간 수준의 합의를 확인했다. 둘째, GPT‑3, Gemini‑2.0‑Flash, Claude‑4‑Sonnet 등 4개의 최상위 LLM을 ‘전문의’ 역할로 설정해 동일 메트릭을 이진(0/1) 스코어로 자동 평가하도록 하였다. 인간 평가와 LLM‑as‑judge 간의 피어슨 상관계수는 0.58~0.71 수준으로, LLM이 인간 전문가와 비교적 일관된 판단을 내릴 수 있음을 시사한다.

벤치마크 실험에서는 16개 모델을 제로샷 설정(temperature 0, 정답 선택지 문자만 출력)으로 평가했으며, 오픈소스 Llama‑3.3‑70B‑instruct, DeepSeek‑chat‑v3 등과 상용 모델 GPT‑5, Claude‑sonnet‑4, Gemini‑2.0‑Flash의 정확도를 비교했다. 전반적으로 상용 모델이 약 10~15%p 높은 정확도를 보였지만, 최고 성능조차 45% 수준에 머물러 의료 수준의 추론에는 아직 미흡함을 드러냈다.

추가 실험으로 LLaMA‑3.1‑8B‑instruct에 3개의 고품질 샘플을 제공하는 몇‑샷 프롬프트를 적용했으며, 이는 제로샷 대비 3~5%p 정확도 향상을 가져왔다. 더 나아가 QLoRA 기반 저차원 적응 학습을 수행해 4‑bit 양자화 상태에서 800 스텝(배치 누적)까지 파인튜닝한 결과, 동일 테스트 셋에서 약 7%p의 절대 정확도 상승을 기록했다. 이는 데이터 규모가 비교적 작음에도 불구하고 도메인 특화 파인튜닝이 모델 성능에 실질적인 영향을 미친다는 점을 입증한다.

전체적으로 본 연구는 (1) 아랍어 의료 MCQ 데이터셋 구축 방법론, (2) 인간·LLM 혼합 품질 평가 프레임워크, (3) 다양한 모델·학습 전략을 통한 벤치마크 결과를 제공함으로써, 다국어·다도메인 LLM 연구에 필수적인 ‘고품질 의료 데이터’와 ‘표준화된 평가 파이프라인’의 중요성을 강조한다. 향후 데이터 확대, 세부 전공별 미세조정, 그리고 실제 임상 대화형 시스템에 적용 가능한 평가 지표 개발이 필요하다.