에스토니아어 위노그란데 번역·평가: 인간 번역 vs 기계 번역 성능 비교

초록

본 논문은 위노그란데 테스트셋을 에스토니아어로 인간이 직접 번역·문화적 현지화한 데이터와, GPT‑4 기반 두 가지 기계 번역본을 구축하고, 다양한 오픈·폐쇄형 LLM에 적용해 정확도를 비교한다. 인간 번역본이 원본 영어 대비 약간 낮은 성능을 보였으며, 기계 번역본은 현저히 낮았다. 상세 프롬프트를 활용한 기계 번역 개선 시도는 제한적인 품질 향상만을 보여, 전문 번역가의 참여가 여전히 필수임을 강조한다.

상세 분석

이 연구는 에스토니아어라는 중간 규모의 교착어(Finno‑Ugric) 특성을 고려해 위노그란데(WinoGrande) 테스트셋 1,767개 문항을 인간 번역·현지화하는 과정을 상세히 기록한다. 번역자는 석사 수준의 번역 전공자와 전문 번역가 두 명으로 구성됐으며, 번역 단계에서 (1) 어휘 중복 70% 유지, (2) 정답 옵션의 형태·격 일치 보장, (3) 문화·지역 특성에 맞는 대체어 적용, (4) 모호하거나 잘못 표기된 원문을 교정하는 네 가지 절차를 수행했다. 특히 에스토니아어는 어미 변형이 풍부해 원문과 동일한 형태를 유지하기 어려워, 명사·동사의 수·격 일치를 맞추기 위해 문장을 재구성했다. 예시(A)에서는 ‘cheap’의 다의성을 고려해 ‘maitsetu(맛없다)’로 번역함으로써 원래 의도인 ‘가격 저렴’이 아닌 ‘품질 저가’를 유지했다.

데이터 품질 검증을 위해 두 명의 추가 주석자가 독립적으로 정답 라벨을 부여했으며, Cohen’s κ=0.816, Fleiss’ κ=0.855라는 매우 높은 일치도를 기록했다. 이는 인간 번역본이 논리적 일관성과 문화적 적합성을 충분히 확보했음을 의미한다.

기계 번역본은 GPT‑4o(간단 프롬프트)와 GPT‑4.1(상세 프롬프트) 두 버전으로 생성했다. 간단 프롬프트는 “영어 → 에스토니아어 번역”만을 지시했으며, 결과물에서 (1) 수·격 불일치, (2) 의미 손실, (3) 문법적 힌트에 의존한 정답 유도 등 세 가지 주요 오류가 빈번히 나타났다. 상세 프롬프트는 (① 문화적 현지화 요소 명시, ② 정답 옵션 형태 유지, ③ 어미·격 일치 강조) 등을 포함했지만, 오류 비율이 15.2% 수준으로 크게 감소하지 못했다. 특히 ‘beans vs meat’ 예시처럼 동사 형태가 정답을 암시하도록 변형된 경우는 여전히 존재했다.

LLM 성능 평가에서는 GPT‑4, LLaMA‑2‑13B, Mistral‑7B 등 6개 모델을 사용했으며, 인간 번역본에 대한 평균 정확도는 71.3%였고, GPT‑4o 번역본은 58.1%, GPT‑4.1 번역본은 60.4%로 차이가 났다. 인간 번역본에 대해선 ‘현지화·문화 적합성’이 모델의 추론 능력을 방해하지 않았으나, 기계 번역본은 (i) 의미 왜곡, (ii) 문법적 단서 제공, (iii) 정답 라벨과 문장 간 불일치 등으로 인해 모델이 ‘잘못된 이유’로 정답을 맞추는 경우가 늘어났다.

또한, 원본 데이터에서 89개(5%)는 모호하거나 라벨 오류가 있었으며, 번역 과정에서 이를 교정함으로써 전체 데이터의 신뢰성을 높였다. 이러한 교정 작업은 모델 평가 시 ‘라벨-문장 불일치’에 의한 오버페어링을 방지하는 데 기여한다.

결론적으로, (1) 인간 번역·현지화는 언어적·문화적 복합성을 보존하면서도 평가 신뢰성을 확보한다, (2) 현재 최첨단 LLM 기반 기계 번역은 복잡한 교착어와 문화적 맥락을 충분히 반영하지 못해 위노그란데와 같은 추론 벤치마크에 부적합하다, (3) 프롬프트 엔지니어링만으로는 번역 품질을 실질적으로 개선하기 어렵다, (4) 향후 다언어 추론 평가를 위해서는 전문 번역가와 협업한 고품질 데이터 구축이 필수적이라는 점을 강조한다.