아랍어 언어·화용 추론을 위한 ALPS 진단 세트

초록

ALPS는 531개의 정교하게 설계된 질문으로 구성된 아랍어 심층 의미·화용 진단 벤치마크이다. 15개 과제와 47개 하위 과제로 나뉘며, 전문가가 직접 제작·검증했다. 인간 전문가 평균 정확도는 84.6%이며, 최고 상업 모델인 Gemini‑3‑flash가 94.2%로 인간 평균을 넘어섰지만, 99.2%의 전문가 오라클과는 차이가 남는다. 특히 형태소·구문 의존성을 요구하는 다이아크리틱 기반 과제에서 오류율이 36.5%에 달한다.

상세 분석

ALPS는 기존 대규모 아랍어 벤치마크가 갖는 “규모 우선” 접근을 의도적으로 거부하고, 언어학적 깊이를 강조한다는 점에서 학술적 의의가 크다. 데이터는 531개의 다중선택형 질문으로 구성되며, 각각이 ‘진단적’이라는 목표 하에 설계되었다. 즉, 모델이 단순히 통계적 패턴을 학습해도 정답에 도달하기 어렵도록, 의미론적 미묘함과 화용적 함의를 동시에 요구한다. 이러한 설계는 다음과 같은 핵심 특징을 가진다.

1. 전문가 주도 제작: 질문 작성, 교재 검토, 오답 설계, 다중 라운드 검증 단계가 모두 아랍어 언어학 전문가에 의해 수행되었다. 이는 번역 오류나 자동 생성 시 발생할 수 있는 의미 왜곡을 원천 차단한다. 특히 고전 아랍어, 현대 표준아랍어(MSA), 꾸란 텍스트, 시 등 다양한 언어 레지스터를 활용해 문화적·역사적 진위성을 확보했다.

2. 다양한 언어 현상 포괄: 의미론(단어 의미 구분, 의미역 라벨링, 어휘 의미, 시공간 참조 등)과 화용론(화행 이론, 함축, 전제, 일반 화용)으로 크게 나뉘며, 각각이 다시 세부 과제로 세분화된다. 특히 ‘이라브(i’rab)’와 같은 아랍어 고유의 구문표시 체계와 다이아크리틱(모음 부호) 의존 과제가 포함돼, 형태소·구문 분석 능력을 정밀하게 측정한다.

3. 인간 성능 기준: 4명의 언어학 전공자를 대상으로 한 ‘단일 패스’ 실험에서 평균 84.6% 정확도를 기록했으며, 이는 인간 전문가조차도 일부 과제에서 어려움을 겪는다는 점을 보여준다. Fleiss’ κ가 0.23에 머무는 낮은 일치도는 과제의 난이도와 해석적 다원성을 반영한다. 반면, 전문가가 재검토한 ‘오라클’ 정답은 99.2%에 달해 질문 자체가 잘 정의되었음을 확인한다.

4. 모델 평가 결과: 23개의 상업·오픈소스·아랍어 전용 모델을 제로샷 프롬프트로 평가했다. 상위 상업 모델(Gemini‑3‑flash) 은 94.2%의 전체 정확도를 보이며 인간 평균을 초과했지만, 여전히 오라클과 5%p 차이가 난다. 특히 다이아크리틱 의존 과제에서 36.5%의 오류율을 보이며, 형태소·구문 의존성을 제대로 파악하지 못함을 드러낸다. 반면, 아랍어 전용 모델인 Jais‑2‑70B는 83.6%로 인간 평균에 근접하지만, 상업 모델에 비해 전반적인 성능이 낮다. 이는 대규모 다국어 사전학습이 아랍어 고유 현상을 포괄적으로 학습하는 데 유리함을 시사한다.

5. 의미·화용 간 격차: 상위 모델은 의미론적 과제(예: 조합 의미)에서는 93.8%까지 높은 정확도를 보이지만, 화용론 과제(특히 화행 이론)에서는 73.8% 수준에 머문다. 이는 모델이 ‘규칙 기반’ 추론에는 강하지만, 화자 의도·함축·전제와 같은 고차원 추론에는 한계가 있음을 의미한다. 흥미롭게도, 아랍어 전용 모델은 화용론에서 상대적으로 높은 점수를 기록해, 언어 특화 학습이 화용적 추론에 긍정적 영향을 줄 수 있음을 암시한다.

6. 벤치마크 활용 가능성: ALALPS는 단순 정확도 측정에 그치지 않고, 오류 유형 분석을 통해 모델의 언어학적 약점을 구체적으로 파악할 수 있다. 향후 모델 개발 시 ‘이라브’ 해석, 다이아크리틱 복원, 화행 인식 등 특정 모듈을 강화하는 데 활용될 수 있다. 또한, 인간 전문가와의 성능 격차를 정량화함으로써 ‘언어학적 이해’와 ‘언어 생성’ 사이의 차이를 명확히 구분하는 기준을 제공한다.

전반적으로 ALPS는 아랍어 LLM 평가에 새로운 패러다임을 제시한다. 규모와 다양성을 중시하는 기존 벤치마크와 달리, 깊이 있는 언어학적 진단을 목표로 함으로써 모델이 진정한 의미·화용 이해를 갖추었는지 검증한다. 이는 향후 아랍어 NLP 연구가 ‘표면적 성능’이 아닌 ‘언어학적 지식’ 중심으로 전환되는 데 중요한 촉매제가 될 것이다.