터키어 대형 언어 모델 평가를 위한 종합 벤치마크 TurkBench

초록

TurkBench는 8,151개의 샘플을 21개의 세부 과제로 구성하고, 지식·언어 이해·추론·콘텐츠 안전·터키어 문법·명령 수행 등 6대 카테고리로 나눈 최초의 대규모 터키어 전용 LLM 벤치마크이다. 모든 데이터는 터키어 원문을 기반으로 전문가가 직접 제작·검증했으며, 온라인 리더보드와 자동 채점 시스템을 제공한다.

상세 분석

본 논문은 기존 영어 중심 벤치마크가 터키어와 같은 교착어(agglutinative language)의 특수성을 포착하지 못한다는 문제점을 명확히 지적한다. 이를 해결하기 위해 저자들은 ‘전문가 주도형 데이터 구축’ 방식을 채택했으며, 이는 두 가지 중요한 의미를 가진다. 첫째, 데이터가 번역·재구성된 것이 아니라 터키어 교육·문화·사회 전반에서 직접 수집·작성되었기 때문에 형태소 결합, 어순 자유도, 어휘 차용 등 언어학적 특성이 그대로 반영된다. 둘째, 인간 전문가가 ‘정확성·문법·문화 민감성’ 3가지 기준으로 품질을 검증함으로써 라벨 오류와 문화적 편향을 최소화한다는 점이다.

구성된 21개 세부 과제는 크게 세 그룹으로 나뉜다. (1) 지식·언어 이해 영역은 터키 일반 상식, MMLU 기반 다학제 객관식, 독해, NLI, 요약, 의미 유사도 등 전통적인 NLP 평가 항목을 포함한다. 특히 의미 유사도 과제에서는 Pearson·Spearman 상관계수를 채점 지표로 사용해 미세한 의미 차이를 정량화한다. (2) 추론 영역은 수학·복합·상식 추론을 포함하며, 수학 문제는 터키 과학 올림피아드·대학 시험에서 발췌해 실제 교육 현장의 난이도를 그대로 재현한다. 복합 추론은 다단계 사고와 장문 분석을 요구해 모델의 깊이 있는 사고 능력을 테스트한다. (3) 안전·문법·명령 수행 영역은 독성·편향 탐지, 환각(진실성·신뢰성) 평가, 희귀·차용 어휘, 관용구·은유 인식, 품사 태깅, 명령 수행(Instruction Following) 등 터키어 특화 기능을 포괄한다. 특히 ‘LLM-as-a-Judge’ 방식을 도입해 요약·독해와 같은 생성 과제의 품질을 인간 평가자 대신 LLM이 자동으로 판단하도록 설계했으며, 이는 대규모 평가의 효율성을 크게 높인다.

평가 메트릭은 과제별로 최적화돼 있다. 대부분의 분류·객관식 과제는 정확도(accuracy)를, 연속 점수형 과제는 상관계수, 생성·요약 과제는 LLM-as-a-Judge를 활용한다. 이러한 다중 메트릭 접근은 단일 지표에 의존하는 기존 벤치마크의 한계를 보완한다.

또한, 논문은 TurkBench를 Hugging Face에 공개하고, 자동 채점 파이프라인과 공개 리더보드를 제공함으로써 연구자·개발자가 손쉽게 모델을 제출·비교할 수 있는 인프라를 구축했다. 이는 터키어 AI 생태계 내 경쟁을 촉진하고, 안전·윤리적 AI 개발을 장려하는 중요한 사회적·산업적 파급 효과를 기대한다.

전체적으로 TurkBench는 (1) 데이터의 원천·품질 보증, (2) 언어·문화 특수성을 반영한 과제 설계, (3) 다층적인 평가 메트릭, (4) 자동화된 온라인 평가 인프라라는 네 가지 핵심 요소를 결합해 터키어 LLM 평가의 새로운 표준을 제시한다. 향후 모델 스케일링·프롬프트 엔지니어링 연구에 있어 필수적인 베이스라인이 될 것으로 보인다.