위키피디아 기반 주제 정렬 비교 코퍼스 구축 및 진정한 병렬 문장 추출

초록

본 논문은 위키피디아 문서를 활용해 주제‑정렬된 비교 코퍼스를 자동으로 구축하고, HunAlign과 맞춤형 필터링 도구를 결합해 노이즈가 많은 데이터에서 실제 번역 관계에 있는 문장 쌍을 추출하는 방법을 제시한다. 또한 폴란드‑영어 전용 SMT 시스템을 학습·조정해 번역 품질을 보강함으로써 필터링 정확도를 높였다. 실험 결과는 인간 평가와 비교해 높은 정밀도와 재현율을 보여준다.

상세 분석

이 연구는 두 단계로 구성된 파이프라인을 설계한다. 첫 번째 단계는 위키피디아의 다국어 문서를 크롤링하여 주제‑정렬된 비교 코퍼스를 생성하는 것이다. 크롤러는 비영어 위키(예: 폴란드어)에서 시작해 해당 문서와 연결된 영어 문서를 자동으로 수집하고, HTML을 정제해 순수 텍스트와 메타데이터(ID)를 추출한다. 이렇게 얻어진 문서는 동일 주제에 속하지만 문장 수준에서는 정렬되지 않은 ‘비교 코퍼스’가 된다.

두 번째 단계는 문장 정렬과 필터링이다. 저자들은 HunAlign을 활용해 초기 문장 정렬을 수행한다. HunAlign은 사전이 없을 경우 문장 길이 비율을 이용해 대략적인 정렬을 만든 뒤, 정렬 결과를 바탕으로 자동 사전을 구축한다. 이 사전은 두 번째 정렬 패스에서 사용되어 정렬 정확도를 향상시킨다. 그러나 HunAlign은 문장 순서가 뒤바뀐 경우(교차 정렬)를 처리하지 못한다는 한계가 있다. 이를 보완하기 위해 저자들은 맞춤형 필터링 모듈을 개발했으며, 핵심 아이디어는 폴란드어 문장을 기계 번역 엔진으로 영어에 번역한 뒤, 원본 영어 문장과의 유사도를 정량화하는 것이다.

유사도 측정은 단순 단어 교집합을 넘어, 정규화된 문자열 매칭 비율, 어간 추출, 그리고 WordNet 기반 동의어 확장을 포함한다. 구체적으로는 NLTK와 WordNet을 이용해 각 단어의 동의어 집합을 생성하고, 이를 바탕으로 다대다 매칭을 수행한다. 또한, 빠른 문자열 매칭 함수(예: SequenceMatcher)를 사용해 순서 정보를 반영하고, 여러 유사도 함수(정밀도, 재현율, F‑score)를 조합해 최종 점수를 산출한다. 사용자는 사전 정의된 임계값을 조정해 고정밀(빠른 함수 우선) 혹은 고재현(느린 함수 우선) 모드를 선택할 수 있다.

필터링 과정에서 핵심 역할을 하는 번역 엔진은 일반 온라인 서비스가 아니라, OPUS 코퍼스로 사전 학습하고 위키피디아 전체 영문 덤프를 언어 모델로 활용한 맞춤형 통계적 기계 번역(SMT) 시스템이다. Moses와 MGIZA++를 기반으로 6‑gram 언어 모델, Kneser‑Ney 할인, 양방향 재배열 모델 등을 적용해 번역 품질을 최적화하였다. 이 번역 모델은 BLEU, NIST, METEOR, TER 등 네 가지 자동 평가 지표에서 일반 온라인 엔진보다 우수한 점수를 기록한다.

실험에서는 무작위로 선택한 20개의 위키 문서(폴란드어‑영어 쌍)를 대상으로 인간 번역가가 문장 수준에서 정렬한 ‘Gold 표준’과 자동 파이프라인 결과를 비교했다. 초기 HunAlign 정렬 단계에서 약 30 % 정도의 문장이 올바르게 매칭되었으며, 필터링 후에는 약 70 % 이상의 정밀도를 달성했다. 특히 ‘YES’(정확히 정렬된 쌍) 비율이 80 %에 육박했으며, ‘NO’(오류) 비율은 5 % 이하로 낮았다. 인간 평가와 자동 지표 간의 상관관계도 높은 편으로, 제안된 방법이 실제 번역 품질 향상에 기여함을 확인했다.

이 논문의 주요 기여는 (1) 주제‑정렬된 비교 코퍼스를 자동으로 구축하는 웹 크롤링·정제 파이프라인, (2) HunAlign 기반의 두 단계 정렬과 자동 사전 생성 메커니즘, (3) 번역 엔진과 복합 유사도 함수를 결합한 고정밀 필터링 기법, (4) 폴란드어‑영어 특성을 고려한 맞춤형 SMT 시스템 구축이다. 또한 언어 독립적인 설계 덕분에 다른 언어쌍에도 손쉽게 적용 가능하다는 장점이 있다. 향후 작업으로는 신경망 기반 번역 모델을 도입해 번역 품질을 더욱 향상시키고, 교차 정렬을 자동으로 탐지·보정하는 알고리즘을 개발하는 것이 제시된다.