문화적 뉘앙스 번역 벤치마크

초록

본 논문은 7개의 최신 다국어 대형 언어 모델(LLM)을 15개 언어에 걸쳐 평가하고, 문화적 뉘앙스(관용구, 말장난, 명절, 문화적 개념) 번역 품질을 인간 평가자 5명씩이 0‑3 척도로 채점한 대규모 벤치마크를 제시한다. 전체 텍스트 평균 점수는 1.68/3에 불과했으며, GPT‑5(2.10), Claude Sonnet 3.7(1.97), Mistral Medium 3.1(1.84)이 상대적으로 높은 성능을 보였다. 세부 카테고리에서는 명절·문화 개념이 2.20·2.19점으로 우수했지만, 관용구(1.65)와 말장난(1.45)은 크게 낮았다. 문화적 의미 전달이 문법적 정확도와 크게 차이 나는 점을 강조한다.

상세 분석

이 연구는 기존 MT 벤치마크가 토큰‑레벨 정확도와 문법적 적합성에만 초점을 맞추는 한계를 지적하고, 실제 현지화에서 핵심적인 ‘문화적 실용성’을 정량화하려는 시도로서 의미가 크다. 7개의 최신 다국어 LLM(오픈‑웨이트와 클로즈드‑웨이트 모델 포함)을 동일한 5개의 영문 마케팅 이메일에 대해 동일 프롬프트(“해당 국가·언어에 맞게 번역”)를 사용해 번역하도록 하였으며, 각 모델별 번역을 15개 목표 언어(아프리카어, 아랍어, 포르투갈어, 광동어, 체코어, 네덜란드어, 히브리어, 힌디어, 일본어, 한국어, 만다린, 러시아어, 스페인어, 스와힐리어, 우르두어)로 평가했다. 평가자는 각 언어당 5명의 원어민(총 75명)으로 구성됐으며, 전체 텍스트와 사전 정의된 문화적 세그먼트(관용구, 말장난, 명절, 문화 개념) 두 차원에서 0‑3 점수와 ‘번역 안 함(NA)’ 옵션을 제공했다.

통계 분석은 누적 로짓 혼합 모델(Cumulative Link Mixed Model, CLMM)을 사용해 모델·언어·카테고리 간 상호작용을 추정했으며, 세그먼트 수준 변동이 평가자 수준 변동보다 크게 나타났다(세그먼트 SD = 1.76, 평가자 SD = 0.70). 이는 문화적 뉘앙스 번역이 특정 문장·표현에 따라 난이도가 크게 달라짐을 의미한다. 또한 Krippendorff’s α와 Gwet’s AC2를 통해 전체 텍스트에서는 중간 정도의 평가자 일관성(α≈0.55‑0.65)이 확보됐지만, 관용구·말장난 카테고리에서는 일관성이 현저히 낮아(α ≈ 0.40) 평가자의 주관적 판단이 크게 작용함을 보여준다.

주요 결과는 다음과 같다. ① 전체 텍스트 평균 점수는 1.68/3으로 낮으며, GPT‑5가 2.10점으로 가장 우수했다. Claude Sonnet 3.7와 Mistral Medium 3.1이 그 뒤를 이었다. 반면, Aya Expanse 8B는 1.09점으로 현저히 낮았다. ② 세그먼트별로는 명절(2.20)과 문화 개념(2.19)이 가장 높은 점수를 받았고, 관용구(1.65)와 말장난(1.45)은 크게 떨어졌다. 특히 관용구는 ‘번역 안 함’ 비율이 가장 높아 모델이 원문을 그대로 남기는 경향이 강했다. ③ 모델 간 차이는 통계적으로 유의했으며, GPT‑5와 Claude Sonnet 3.7는 서로 차이가 없지만 다른 모델보다 유의하게 우수했다. Aya Expanse 8B는 모든 다른 모델에 비해 유의하게 낮은 점수와 높은 누락률을 보였다. ④ 언어별 분석에서는 라틴계 언어(스페인어, 포르투갈어)와 동아시아 언어(일본어, 한국어)에서 비교적 높은 점수를 기록했으며, 아프리카어·우루두어와 같은 저자원 언어에서는 전반적으로 낮은 점수가 관찰되었다.

이러한 결과는 ‘문법적 정확도 ≠ 문화적 적합성’이라는 핵심 메시지를 뒷받침한다. 현재 LLM은 대규모 다국어 데이터에 기반해 전반적인 번역 능력은 확보했지만, 비문자적·비직접적 의미를 전달하는 관용구·유머 등은 여전히 약점이다. 이는 훈련 데이터에 문화‑프라그마틱 레이블이 부족하거나, 모델이 ‘직역’ 전략을 우선시하기 때문으로 해석될 수 있다. 또한, 평가 설계 자체가 문화적 현지화의 복합성을 드러내는 좋은 사례이며, 향후 MT 평가에 ‘문화적 적합성’ 차원을 반드시 포함해야 함을 시사한다.