폴란드어‑영어 통계 기계 번역 성능 향상 연구

초록

본 논문은 TED, Europarl, OPUS 등 다양한 병렬 코퍼스를 활용하여 폴란드어‑영어 통계 기계 번역(SMT) 시스템의 학습 설정을 다변화하고, 그 결과를 BLEU, NIST, METEOR, TER 네 가지 지표로 정량 평가한다. 데이터 전처리, 언어 모델 차수, 어휘 정규화 등 여러 변수의 영향을 체계적으로 분석함으로써 구어체 번역에 최적화된 학습 방안을 제시한다.

상세 분석

이 연구는 폴란드어‑영어 구어체 번역을 목표로, 통계적 기계 번역(SMT) 파이프라인의 각 단계에서 발생할 수 있는 오류와 개선 여지를 정밀히 탐색한다. 먼저, TED 강연 스크립트, 유럽 의회 회의록(Europarl), 그리고 OPUS 프로젝트에서 제공되는 다양한 도메인의 병렬 텍스트를 수집하였다. 각 코퍼스는 원문·번역문 길이, 어휘 다양성, 구문 복잡도 측면에서 차이를 보였으며, 이는 언어 모델(LM)과 번역 모델(phrase‑based)의 학습에 직접적인 영향을 미친다.

데이터 전처리 단계에서는 토큰화, 어절 정규화, 대소문자 통일(truecasing), 그리고 불용어 제거 여부를 변수로 설정하였다. 특히 폴란드어는 복합 어미와 성·수·격 변형이 풍부해 형태소 분석기와 어간 추출기를 적용했으며, 영어 측면에서는 구어체 특유의 축약형과 구두체 표현을 보존하도록 설계하였다.

언어 모델은 3‑gram부터 5‑gram까지 차수를 변화시켜 실험했으며, Kneser‑Ney 스무딩과 베이즈 백오프 방식을 비교하였다. 높은 차수의 LM은 긴 문맥 정보를 포착하지만, 희소성 문제로 인해 퍼플렉시티가 오히려 증가하는 현상이 관찰되었다. 따라서 최적 차수는 4‑gram이며, Kneser‑Ney 스무딩이 가장 안정적인 점수를 제공하였다.

번역 모델에서는 GIZA++ 기반의 IBM 모델 4와 HMM 정렬을 사용해 어절 정렬을 수행하고, 어휘 제약(lexical constraints)과 어구 재배열(reordering) 옵션을 조정하였다. 어구 재배열 모델은 distance‑based와 lexicalized 두 가지 방식을 시험했으며, 구어체에서는 자유로운 어순 변동이 빈번하므로 lexicalized 모델이 더 높은 BLEU와 낮은 TER을 기록했다.

튜닝 단계에서는 MERT와 MIRA 두 가지 최소화 알고리즘을 적용했으며, MIRA가 다중 메트릭(BLEU, METEOR, TER) 최적화에 유리함을 확인했다. 최종 평가에서는 각 코퍼스 조합별로 4가지 자동 평가 지표를 산출했으며, 특히 TED+OPUS 혼합 데이터가 구어체 번역 정확도에서 가장 높은 성능을 보였다.

전체적으로, 데이터 도메인 혼합, 형태소 기반 전처리, 적절한 LM 차수 선택, 그리고 lexicalized 재배열 모델의 결합이 폴란드어‑영어 구어체 SMT 성능을 크게 향상시킨다는 결론에 도달하였다. 이 결과는 향후 신경망 기반 번역 모델(NMT)에도 도메인 적응과 전처리 전략을 설계하는 데 유용한 참고 자료가 될 것이다.