극저자원 기계번역 평가: BLEU와 ChrF++ 비교 분석

초록

본 연구는 인도아리어계 극저자원 언어(마가히, 보즈푸리, 차티스가르히)에서 대형 언어모델(LLM)과 신경기계번역(NMT) 시스템이 생성한 번역 결과를 BLEU와 문자 기반 ChrF++ 두 자동 평가 지표로 비교한다. 두 지표가 나타내는 점수 차이를 번역 오류 유형(환각, 반복, 원문 복사, 모음 변형)과 연계해 분석함으로써, BLEU가 낮은 절대값에도 불구하고 어휘 정밀도와 번역 품질 해석에 보완적인 정보를 제공한다는 결론을 도출한다.

상세 분석

본 논문은 극저자원 언어(ELRL) 환경에서 자동 번역 품질 평가가 직면하는 고유한 문제점을 체계적으로 탐구한다. 먼저 BLEU가 n‑gram 겹침에 의존해 어순·형태 변화를 과도하게 벌점화하는 반면, ChrF++는 문자 수준의 겹침을 기반으로 형태소·모음 차이를 관대하게 처리한다는 점을 강조한다. 특히 인도아리어계 언어는 어근·접사·모음(마트라) 변동이 빈번해 BLEU가 과도한 벌점을 부여하는 경향이 뚜렷하다.

실험에서는 101언어를 지원하는 Aya‑101, 인도어 특화 Airavata, 그리고 mT5‑Large라는 세 가지 모델을 선정하고, 각각을 NLLB Seed 코퍼스로 미세조정한 뒤 FLORES‑200 개발 집합(1,012문장)에 대해 영어·힌디어→마가히·보즈푸리·차티스가르히 및 역방향 번역을 수행했다. BLEU와 ChrF++는 SacreBLEU 표준 토크나이저로 계산했으며, 표 1‑3에 제시된 결과는 동일 언어쌍 내에서만 비교하도록 설계되었다.

주목할 만한 발견은 다음과 같다. 첫째, 동일 언어쌍에서 ChrF++ 점수가 높아도 BLEU가 현저히 낮은 경우가 빈번히 관찰되었다. 예를 들어 힌디어→마가히 번역에서 모델이 원문을 거의 그대로 복사했을 때 ChrF++는 41.43점에 머물렀지만 BLEU는 18.09점에 그쳤다. 이는 문자 수준 겹침은 유지되지만 어휘·구문 정밀도가 크게 떨어졌음을 의미한다.

둘째, BLEU 점수가 급격히 상승하면서 ChrF++는 소폭 상승에 그친 경우는 실제 의미 전달이 개선된 상황을 반영한다. 이는 정확한 모음 표기와 n‑gram 정렬이 향상되었을 때 BLEU가 민감하게 반응하지만, 문자 겹침은 이미 높은 수준이라 큰 변화를 보이지 않기 때문이다.

셋째, 환각 오류가 발생한 경우 ChrF++는 거의 변동이 없고 BLEU만 크게 감소한다는 패턴이 확인되었다. 이는 표면 문자 유사성은 유지되지만 의미적 일관성이 무너진 경우를 BLEU가 잘 포착한다는 점을 시사한다.

넷째, 반복·중복 출력은 BLEU의 brevity penalty와 n‑gram 중복 벌점으로 인해 점수가 급락하지만, ChrF++는 문자 중복을 크게 벌점화하지 않아 상대적으로 안정적인 점수를 보인다.

다섯째, 모음(마트라) 변형은 BLEU에 큰 영향을 미치며, 특히 모음이 누락되거나 잘못 표기될 경우 BLEU가 급감한다. 반면 ChrF++는 이러한 미세 차이를 관대하게 처리해 점수 차이가 적다.

마지막으로, 학습 데이터가 20 % 감소한 실험에서도 동일한 경향이 유지돼, 데이터 희소성이 지표 간 차이를 확대한다는 점을 확인했다.

이러한 분석을 종합하면, BLEU와 ChrF++는 서로 보완적인 특성을 지니며, 특히 ELRL 상황에서는 두 지표를 동시에 검토함으로써 번역 오류 유형을 보다 정밀하게 식별할 수 있다. BLEU는 어휘·구문 정밀도와 번역 길이(브리티) 측면에서 경고 신호를 제공하고, ChrF++는 문자 수준의 전반적인 겹침을 통해 형태학적 변동을 포괄한다. 따라서 실무에서는 두 지표의 발산을 오류 탐지와 품질 판단의 기준으로 활용할 것을 권고한다.