다중언어 임베딩을 위한 다중병렬 텍스트 정렬 기법

초록

본 논문은 영어를 기준으로 6개 목표 언어에 대해 기계 번역으로 만든 다중병렬 코퍼스를 활용해 대비학습(contrastive learning)으로 다국어 사전학습 모델을 정렬한다. 다중언어 앵커와 다중양성 예시를 이용한 정렬은 기존의 영어‑대상(En‑X) 이중병렬 데이터보다 비트텍 마이닝, 의미 유사도, 분류 등에서 현저히 높은 성능 향상을 보이며, 정렬에 포함되지 않은 언어에도 긍정적인 전이 효과를 나타낸다.

상세 분석

이 연구는 다국어 사전학습 모델이 교차언어 정렬 신호를 충분히 받지 못해 표현 공간에서 언어 간 정렬도가 낮다는 문제점을 지적한다. 이를 해결하기 위해 저자들은 두 단계의 전략을 제시한다. 첫째, OPUS에서 추출한 영어 문장을 NLLB‑200 3.3B 번역 모델로 중국어, 일본어, 프랑스어, 독일어, 힌디어, 스페인어 등 6개 언어로 번역해 4열(영어+무작위 선택 3언어) 구조의 다중병렬 코퍼스를 구축한다. 전체 75 822개의 문장을 90%/10% 비율로 학습/검증 셋에 할당했으며, 각 행은 동일 의미를 공유하는 다중 양성 샘플을 제공한다. 둘째, 기존 대비학습 손실에 모든 언어를 앵커로 삼아 나머지 언어들을 양성 예시로 활용하는 다중양성 대비학습(L_sup)을 적용한다. 여기서 온도 파라미터 τ와 정규화 항 λ을 통해 사전학습 임베딩과의 거리 보존을 조절한다. 이 설계는 “언어마다 자체적인 앵커 역할을 부여함으로써 각 언어 서브스페이스 간 수렴을 촉진하고, 영어 중심의 편향을 완화한다”는 핵심 아이디어를 구현한다.

실험에서는 XLM‑RoBERTa‑base와 mBERT‑base 두 모델에 동일 프로토콜을 적용했으며, MTEB 벤치마크의 비트텍 마이닝, STS, 분류, 클러스터링 네 가지 작업을 평가했다. 비트텍 마이닝에서는 BUCC와 Tatoeba 데이터셋에서 F1 점수가 20% 이상 상승했으며, 특히 중국어‑영어 쌍에서 21.6→95.0으로 급격히 개선되었다. STS에서는 Spearman 상관계수가 -1.2→52.7(영‑독) 등 대폭 향상되었고, 분류 작업에서는 평균 정확도가 28.4% 상승했다. 흥미롭게도 정렬에 사용되지 않은 언어(예: 아랍어)에서도 성능이 상승했으며, 이는 다중병렬 정렬이 언어 간 일반화 능력을 강화한다는 증거다.

추가 분석에서는 (1) 다중병렬 코퍼스와 영어‑대상 이중병렬 코퍼스(동일 데이터 양) 간 성능 차이를 비교해 다중양성 정렬이 일관적으로 우수함을 확인했으며, (2) 힌디어를 목표 언어로 삼아 유럽 언어, 아시아 언어, 전 언어를 혼합한 네 가지 정렬 설정을 실험했다. 전 언어를 모두 포함한 ‘eh‑all’ 설정이 가장 높은 점수를 기록했으며, 이는 정렬에 포함된 언어가 다양할수록 교차언어 전이 효과가 증폭된다는 결론을 뒷받침한다. 마지막으로, 영어만을 앵커로 제한한 ‘XLMR‑en‑anchor’와 영어를 완전히 배제한 ‘XLMR‑en‑ablate’를 비교했을 때, 전자는 성능이 크게 저하되고 후자는 약간의 손실을 보였지만, 두 경우 모두 다중앵커 정렬이 최적임을 재확인했다.

이 논문의 주요 공헌은 (1) 기계 번역을 활용해 손쉽게 대규모 다중병렬 코퍼스를 생성하는 방법론, (2) 모든 언어를 앵커로 하는 다중양성 대비학습 프레임워크, (3) 다중언어 정렬이 기존 이중병렬 정렬 대비 전반적인 NLU 작업에서 현저한 성능 향상을 가져온다는 실증적 증거다. 또한, 정렬 후 모델이 고품질 문장 임베딩을 이미 보유하고 있더라도 소규모 다중병렬 데이터로 추가 파인튜닝하면 비트텍 마이닝 성능이 더욱 개선되는 점을 보여, 실무 적용 시 비용 효율적인 파인튜닝 전략으로 활용 가능함을 시사한다.