폴란드어 영문 의료 번역 통계 기계 번역 연구

초록

본 논문은 OPUS 프로젝트의 EMEA 병렬 코퍼스를 활용해 폴란드어‑영어 의료 텍스트에 대한 통계적 기계 번역(SMT) 시스템을 구축하고, 다양한 전처리·모델링 기법이 번역 품질에 미치는 영향을 정량적으로 평가한다. 품사 태깅, 팩터드 구문 모델, 계층적 모델, 구문 태거 및 여러 정렬 방법을 실험했으며, BLEU, NIST, METEOR, RIBES, TER 지표를 통해 성능을 비교한다. 또한 폴란드어 데이터의 대소문자 복원과 구두점 정규화를 위한 사전 분석을 수행한다.

상세 분석

이 연구는 의료 분야 특유의 전문 용어와 복합 구조를 가진 폴란드어 텍스트를 대상으로, 통계적 기계 번역의 핵심 구성 요소인 구문 테이블과 언어 모델을 어떻게 최적화할 수 있는지를 체계적으로 탐구한다. 먼저, OPUS 프로젝트에서 제공되는 EMEA 코퍼스를 여러 서브셋으로 분리해 훈련, 개발, 튜닝, 테스트 단계에 할당하였다. 기본 시스템은 Moses 툴킷 기반의 phrase‑based SMT 모델이며, 이후 다양한 확장 기법을 적용한다.

1. 품사(POS) 태깅 및 팩터드 모델: 폴란드어는 어미 변화가 풍부해 동일 형태가 여러 문법적 역할을 가질 수 있다. 이를 해결하기 위해 토큰에 POS 정보를 부착하고, 팩터드 번역 모델에서 원문과 목표문 모두에 품사 팩터를 포함시켰다. 결과는 BLEU 점수가 약 1.2 % 상승했으며, 특히 NIST와 METEOR에서 의미적 일관성이 개선되었다.

2. 계층적 구문 모델(Hierarchical Phrase Model): 기존 phrase‑based 모델이 긴 구문을 처리하는 데 한계가 있음을 보완하기 위해 SCFG(구문 기반 컨텍스트 자유 문법) 기반의 계층적 모델을 도입했다. 이 모델은 재귀적 구문 구조를 학습해 긴 문장과 복합 명사구를 보다 정확히 번역한다. 실험 결과, TER이 3 % 감소하고 RIBES 점수가 2 % 상승하는 등 순서 민감도 지표에서 현저한 향상이 관찰되었다.

3. 구문 태거와 구문 기반 정렬: 폴란드어 문장은 자유 어순을 갖지만, 의료 텍스트에서는 특정 구문(예: 약물명‑용법)이 고정된 순서를 유지한다. 이를 반영하기 위해 Stanford Parser를 이용해 구문 트리를 추출하고, GIZA++ 정렬 단계에 구문 정보를 가중치로 삽입했다. 이 접근법은 특히 NIST와 METEOR에서 의미적 정확도를 높였으며, 데이터 희소성을 완화하는 효과도 있었다.

4. 다양한 정렬 방법 비교: 기본 IBM Model 4 외에 Fast Align, eflomal, 그리고 신경망 기반 정렬기를 시험했다. Fast Align가 훈련 속도와 메모리 효율성에서 우수했으며, BLEU와 TER 측면에서도 기존 모델과 동등하거나 약간 우수한 성능을 보였다.

5. 데이터 전처리 – 대소문자 복원 및 구두점 정규화: 폴란드어 코퍼스는 원문이 대소문자와 구두점이 일관되지 않은 경우가 많아, true‑casing 모델을 학습해 자동 복원을 수행했다. 또한, 의료 텍스트 특유의 약어와 기호(예: mg·ml)를 정규화하는 파이프라인을 구축했다. 이러한 전처리는 전체 시스템의 BLEU를 평균 0.8 % 상승시키는 데 기여했다.

전체 실험은 5‑fold 교차 검증을 통해 신뢰성을 확보했으며, 각 지표별 개선 효과를 통계적으로 검증했다. 결과적으로, 단일 기법만 적용했을 때보다 복합적인 팩터드·계층적·구문 기반 접근을 결합한 하이브리드 모델이 가장 높은 종합 점수를 기록했다. 이는 의료 분야와 같이 정확성과 일관성이 중요한 도메인에서 SMT 시스템을 설계할 때, 다중 레이어의 언어학적 정보를 통합하는 것이 효과적임을 시사한다.