아랍어 의료 질문응답에서 대형 언어모델의 언어 격차와 토크나이징 문제

초록

본 논문은 최신 오픈소스 대형 언어모델(LLM)을 아랍어와 영어 의료 MCQ 데이터셋에 적용해 성능 차이를 정량·정성 분석한다. 동일 질문을 아랍어와 영어로 번역해 비교함으로써 언어 자체가 성능 저하의 주요 원인임을 확인하고, 토크나이징 파편화, 입력 길이·난이도, 전용 의료 도메인 적응, 출력 형식(옵션 매칭 vs 자유 텍스트) 등이 격차를 확대한다는 사실을 제시한다. 또한 모델이 제공하는 신뢰도 점수와 설명이 정답과 약한 상관관계만을 보이며, 현재의 다국어 의료 LLM 설계에 언어‑특화 접근이 필요함을 강조한다.

상세 분석

이 연구는 6개의 최신 오픈소스 LLM(DeepSeek‑V3.2, LLaMA 3.3 70B, Mistral‑Small‑3.2‑24B, Meditron 3 70B, Med42‑70B, medgemma‑27B‑text‑it)을 대상으로, 아랍어 의료 MCQ 벤치마크인 MedAraBench과 그 영어 번역본을 이용해 정확도(Accuracy)를 측정하였다. 결과는 거의 모든 모델에서 영어가 아랍어보다 높은 정확도를 기록했으며, 특히 LLaMA 3.3 70B와 Med42‑70B는 영어‑아랍어 차이가 15~20%포인트에 달했다. DeepSeek‑V3.2만이 언어 간 차이가 0.5%에 불과했지만, 이는 모델 규모와 훈련 데이터의 다양성에 기인한 것으로 추정된다.

질문 길이 분석에서는 아랍어 입력이 길어질수록 정확도가 급격히 감소하는 반면, 영어는 비교적 안정적인 성능을 유지했다. 이는 아랍어의 풍부한 형태소와 복합 어휘가 토크나이저에 의해 과도하게 분할되어 토큰 수가 증가하고, 모델이 긴 시퀀스를 효과적으로 처리하지 못함을 시사한다. 난이도별(학년) 분석에서도 후반부(학년 3~5) 질문에서 아랍어 정확도가 크게 떨어졌으며, 이는 전문 용어와 복잡한 문맥이 아랍어에서 더 큰 인코딩 부담을 주기 때문이다.

전문 분야별로는 응급의학·내과 등 실용적 임상 분야에서 상대적으로 높은 정확도를 보였지만, 미생물학·배아학 등 세부 전공에서는 전반적인 성능이 낮았다. 특히 Med42‑70B는 영어에서는 평균 53% 수준이었지만, 아랍어에서는 33%에 머물렀다. 이는 도메인 적응이 영어 데이터에 편중돼 있어, 아랍어 의료 용어에 대한 표현력이 부족함을 의미한다.

출력 형식 실험에서는 옵션을 알파벳 문자로 매칭하는 ‘soft matching’과 정답 문장을 직접 생성하는 ‘hard matching’ 두 방식을 비교했다. ‘hard matching’에서는 토큰화 오류와 문장 구조 차이로 인해 아랍어에서 오류율이 크게 증가했으며, 모델이 영어 프롬프트에 더 잘 적응한다는 점이 드러났다.

신뢰도와 설명 분석에서는 모델이 제공한 confidence score와 rationale가 실제 정답과 약한 상관관계(r≈0.2)만을 보였다. 특히 아랍어에서는 confidence가 높은 경우에도 오답이 빈번히 발생했으며, 설명 텍스트 역시 토큰화 파편화와 어휘 부족으로 일관성이 떨어졌다.

종합하면, 성능 격차는 단순히 훈련 데이터 양이 아니라(1) 아랍어 특유의 형태소·어휘 구조가 토크나이저와 입력 표현에 미치는 영향, (2) 질문 길이·난이도에 대한 민감도 차이, (3) 영어 중심 프롬프트와 출력 형식 설계, (4) 의료 도메인 적응이 영어 데이터에 편중된 점, (5) 모델 자체의 신뢰도 추정 메커니즘이 언어에 따라 불균형적으로 작동한다는 다섯 가지 요인이 복합적으로 작용한다는 것이다. 따라서 향후 다국어 의료 LLM 개발에서는 언어‑특화 토크나이저 설계, 아랍어 의료 코퍼스 확대, 프롬프트 다국어화, 그리고 신뢰도·설명 생성 메커니즘의 언어 독립적 검증이 필수적이다.