신경망 번역과 구문 기반 번역의 다면적 비교

초록

본 논문은 WMT16 뉴스 번역 과제에 제출된 최신 신경망 기계번역(NMT)과 구문 기반 기계번역(PBMT) 시스템을 9개 언어쌍에 걸쳐 다각도로 평가한다. 출력 유사도, 유창성, 재배열 정도, 문장 길이 영향, 형태·재배열·어휘 오류 유형별 성능을 비교한 결과, NMT가 전반적으로 더 다양한 번역을 생성하고, 유창성이 높으며, 어순 재배열이 정확하지만, 매우 긴 문장에서는 성능이 떨어지는 것으로 나타났다.

상세 분석

본 연구는 신경망 기반 번역(NMT)이 구문 기반 번역(PBMT) 대비 어떤 구체적 강점과 약점을 가지고 있는지를 밝히기 위해, WMT16 뉴스 번역 과제에 제출된 최고 성능 시스템들을 대상으로 9개 언어쌍(EN↔CS, DE, FI, RO, RU)을 선정하였다. 실험은 크게 다섯 가지 축으로 나뉜다. 첫째, 출력 유사도 측정을 위해 chrF1 지표를 활용해 동일 언어쌍 내 NMT와 PBMT 시스템 간의 쌍별 겹침 비율을 계산하였다. 결과는 NMT 간 겹침이 PBMT 간보다 낮아 변동성이 크고, NMT와 PBMT 간 겹침은 가장 낮아 두 패러다임이 생산하는 번역이 실질적으로 다름을 보여준다. 둘째, 유창성 평가는 신경 언어 모델(TheanoLM) 기반 퍼플렉시티로 수행했으며, 대부분의 경우 NMT 출력이 PBMT보다 약 10 % 낮은 퍼플렉시티를 기록해 인간 평가와 일치하는 유창성 우위를 확인했다. 셋째, 어순 재배열 정도는 Kendall’s τ 거리로 측정했으며, NMT가 단조(모노톤) 정렬보다 더 많은 재배열을 수행하면서도 레퍼런스와의 τ 거리가 PBMT보다 크게 향상돼 어순 정확도가 높았다. 넷째, 문장 길이에 따른 성능 변화를 분석한 결과, NMT는 짧은·중간 길이 문장에서는 BLEU 점수가 꾸준히 상승하지만, 30단어 이상 장문에서는 점수 상승률이 둔화되거나 감소하는 경향을 보였다. 마지막으로 형태·재배열·어휘 오류를 각각 자동 오류 분류기로 측정했을 때, NMT는 형태 오류(특히 굴절 형태)에서 현저히 낮은 오류율을 보였지만, 매우 긴 문장에서는 어휘 선택 오류가 증가하는 모습을 드러냈다. 전반적으로 NMT는 번역 다양성, 유창성, 어순 정확도에서 PBMT를 앞서지만, 장문 처리와 특정 어휘 선택 측면에서는 아직 개선 여지가 있다.