단일 언어 코퍼스만으로 구현하는 완전 무감독 교차언어 품사 태깅

초록

본 연구는 병렬 코퍼스 없이도 고자원 언어와 저자원 언어 사이에 품사 태깅을 전이할 수 있는 프레임워크를 제안한다. 대규모 단일 언어 코퍼스로 학습한 무감독 신경기계번역(UNMT) 시스템을 이용해 고자원 언어 문장을 저자원 언어로 번역, 가짜 병렬 문장을 생성한다. 이후 단어 정렬 기반으로 품사 라벨을 투사하고, 다중 소스 언어를 활용한 보정 기법으로 라벨 품질을 향상시킨 뒤 BiLSTM 기반 POS 태거를 학습한다. 28개의 언어쌍에 대해 실험한 결과, 기존 병렬 코퍼스 기반 방법과 동등하거나 일부 언어에서는 더 높은 정확도를 달성했으며, 다중 소스 보정으로 평균 1.3%p의 추가 향상을 얻었다.

상세 분석

이 논문은 교차언어 품사 태깅에서 가장 큰 병목인 병렬 코퍼스 의존성을 완전히 해소한다는 점에서 학술적·실용적 의의가 크다. 기존 방법은 두 가지 흐름으로 나뉘는데, (1) 다국어 사전학습 모델을 그대로 활용하는 제로샷 전이와, (2) 병렬 문장을 이용해 단어 정렬 후 라벨을 투사하는 방식이다. 후자는 사전학습 모델에 비해 경량화와 형태론적 차이에 대한 강인성을 제공하지만, 병렬 코퍼스가 부족한 저자원 언어에선 적용이 어려웠다. 저자들은 여기서 UNMT를 도입해 고자원 언어(영어, 독일어, 스페인어, 프랑스어) 문장을 저자원 언어(아프리칸스, 바스크, 핀란드어, 인도네시아어, 리투아니아어, 포르투갈어, 터키어)로 번역함으로써 가짜 병렬 데이터를 생성한다. UNMT는 공유 BPE 어휘와 백번역, 노이즈 오토인코딩을 통해 두 언어 사이의 의미적 매핑을 학습한다. 핵심은 이 과정이 완전 무감독이라는 점이며, 대규모 단일 언어 코퍼스만 있으면 언제든 적용 가능하다.

가짜 병렬 데이터에 대해 기존의 단어 정렬 도구(예: fast_align)를 적용해 정렬을 얻고, 고자원 언어에 이미 라벨링된 UD 태그를 그대로 투사한다. 여기서 발생할 수 있는 문제는 (a) 번역 품질 저하에 따른 정렬 오류, (b) 언어 간 형태론적 차이로 인한 라벨 불일치이다. 이를 보완하기 위해 다중 소스 투사 기법을 도입한다. 여러 고자원 언어를 각각 번역·정렬해 얻은 라벨 후보들을 확률적 가중 평균 혹은 다수결 방식으로 결합한다. 이렇게 하면 개별 소스에서 발생한 잡음이 상쇄되고, 특히 형태론적으로 유사한 소스 언어가 있을 때 라벨 정확도가 크게 상승한다.

라벨이 보정된 후에는 전통적인 BiLSTM-CRF 구조를 사용해 최종 POS 태거를 학습한다. 입력으로는 사전학습된 단어 임베딩과 서브워드 임베딩, 그리고 클러스터 정보를 결합해 풍부한 특징을 제공한다. 실험에서는 28개의 언어쌍에 대해 UD 테스트셋을 사용했으며, 평균 정확도는 60% 이상, 포르투갈어·인도네시아어·아프리칸스와 같이 소스와 구조가 유사한 경우 90%대에 도달했다. 특히 병렬 코퍼스 기반 베이스라인보다 2.6~3.3%p 높은 성능을 보였으며, 다중 소스 보정으로 추가 0.6%p 향상이 확인되었다.

이 연구는 (1) UNMT가 교차언어 라벨 전이에 충분히 활용될 수 있음을 증명, (2) 다중 소스 보정이 라벨 품질을 실질적으로 개선한다는 점, (3) 완전 무감독 파이프라인이 저자원 언어에 대한 실용적인 솔루션이 될 수 있음을 보여준다. 향후 연구에서는 더 정교한 정렬 알고리즘, 언어 간 어휘 정규화, 그리고 대규모 멀티언어 UNMT 모델을 결합해 성능을 한층 끌어올릴 여지가 있다.