중국 SNS 번역 벤치마크 CSM‑MTBench 발표

초록

CSM‑MTBench은 중국 소셜 미디어의 비공식 텍스트를 대상으로 한 다국어 기계 번역 벤치마크이다. 슬랭·신조어가 풍부한 ‘Fun Posts’와 감정·톤이 강조된 ‘Social Snippets’ 두 서브셋으로 구성되며, 각각 슬랭 성공률(SSR)과 스타일·감정 임베딩 유사도(ES)·LLM‑as‑judge 평가를 제안한다. 20여 개 모델을 실험한 결과, 대형 LLM도 비공식 표현과 톤 유지에 한계가 있음을 확인했다.

상세 분석

본 논문은 기존 MT 벤치마크가 주로 뉴스·위키피디아 등 정형화된 문서를 사용해 왔다는 점을 비판하고, 급변하는 중국 SNS 환경에서 나타나는 ‘슬랭·신조어’와 ‘감정·톤’이라는 두 축의 특성을 정량화·평가할 필요성을 강조한다. 데이터 구축 단계에서는 실제 플랫폼(예: Xiaohongshu)에서 수집한 원문을 5개 외국어(스페인어, 프랑스어, 일본어, 한국어, 러시아어)로 인간 번역하였다. ‘Fun Posts’는 평균 41자 정도의 길이를 갖는 서술형 포스트이며, 슬랭·신조어가 52% 이상 포함된다. 여기서는 GPT‑5를 활용해 원문에서 슬랭·신조어를 자동 추출하고, 해당 표현에 대한 다중 번역 후보를 생성한다. 후보 집합(C⁺)과 모델 출력 간의 퍼지 매칭을 통해 슬랭 성공률(SSR)을 계산한다. 이 방식은 단순 BLEU·COMET와 달리 ‘정확히 같은 의미의 비표준 표현’이 번역되었는지를 직접 측정한다는 점에서 혁신적이다.

‘Social Snippets’는 평균 10자 정도의 짧은 댓글·반응으로, 의미보다 감정·톤 전달이 핵심이다. 논문은 스타일 임베딩, 감정 임베딩, 감성 임베딩 세 가지 사전 학습 모델을 이용해 원문과 번역문 사이의 코사인 유사도를 구하고, 이를 평균해 Embedding Similarity(ES) 점수를 산출한다. 또한 GEMBA‑Stars 프롬프트를 변형한 LLM‑as‑judge 방식을 도입해, 인간 평가자와 유사한 수준으로 ‘톤·스타일 보존 여부’를 판단한다. 이 복합 평가 체계는 기존 XCOMET이 포착하지 못하는 미세한 감정·스타일 차이를 정량화한다.

실험에서는 22개 모델(오픈소스 LLM, 전용 MT 모델, 상용 API 포함)을 CSM‑MTBench에 적용했다. 결과는 크게 두 가지 트렌드를 보여준다. 첫째, 대형 LLM(GPT‑4o, Claude‑Sonnet‑4 등)은 전반적인 의미 전달에서는 높은 점수를 받지만, 슬랭·신조어 번역에서는 SSR이 60% 이하로 떨어졌다. 이는 모델이 사전 학습 단계에서 비표준 표현을 충분히 학습하지 못했음을 시사한다. 둘째, ‘Social Snippets’에서는 대부분의 모델이 ES 점수와 LLM‑judge 점수 모두 낮게 나타났으며, 특히 감정·톤이 강한 샘플에서 의미는 유지하더라도 스타일이 평범하게 변형되는 경향이 있었다. 프롬프트 엔지니어링(예: 스타일‑지시 프롬프트)으로 약간의 개선이 가능했지만, 근본적인 데이터·모델 구조 개선이 필요함을 강조한다.

또한 논문은 슬랭 사전 구축, 퍼지 매칭 임계값 설정, 임베딩 모델 선택 등 평가 파이프라인의 세부 구현을 공개하고, GitHub에 코드와 데이터셋을 제공한다. 이는 향후 연구자들이 동일한 기준으로 모델을 비교·개선할 수 있는 기반을 마련한다는 점에서 큰 의미가 있다.

요약하면, CSM‑MTBench은 중국 SNS 특유의 비공식 언어와 감정·톤을 정량화할 수 있는 최초의 다언어 벤치마크이며, 기존 MT 평가 지표가 놓치고 있던 ‘스타일·슬랭 보존’이라는 핵심 과제를 체계적으로 측정한다.