다국어 단어 표현 학습을 위한 Bag‑of‑Words 자동인코더

초록

이 논문은 단어 수준 정렬 없이도 병렬 문장쌍을 이용해 다국어 단어 임베딩을 학습하는 자동인코더 모델을 제안한다. 입력 문장의 Bag‑of‑Words를 인코더가 합산해 얻은 고정 차원 벡터를 기반으로, 번역문에 대한 Bag‑of‑Words를 복원하도록 디코더를 학습한다. 학습된 임베딩을 이용해 영어‑프랑스어·영어‑독일어 간의 문서 분류 전이 실험을 수행했으며, 기존에 단어 정렬을 활용한 방법과 경쟁력 있는 성능을 보였다.

상세 분석

본 연구는 다국어 단어 임베딩을 학습하기 위해 전통적으로 사용되던 GIZA++ 기반의 단어‑레벨 정렬을 배제하고, 문장 수준의 정렬만을 활용한다는 점에서 혁신적이다. 핵심 아이디어는 두 언어의 문장을 각각 Bag‑of‑Words 형태로 표현하고, 각 단어를 D 차원의 임베딩 행렬(Wₓ, Wᵧ)으로 매핑한 뒤, 해당 임베딩들의 합을 문장 레벨 표현 φ(x) 혹은 φ(y) 로 만든다. 이 φ는 비선형 디코더에 입력되어, 목표 언어의 Bag‑of‑Words를 확률적 트리 구조를 이용해 복원한다. 트리 구조는 각 단어를 이진 트리의 리프에 배치하고, 내부 노드에서 좌·우 선택 확률을 로지스틱 회귀 형태로 모델링함으로써, V(어휘 크기) 에 대해 O(log V) 연산만으로 확률을 계산한다. 손실 함수는 복원된 단어들의 다항 로그우도이며, 이는 실제 문서의 단어 빈도와 직접 연결된다.

다국어 확장에서는 두 언어 각각에 독립적인 임베딩 행렬과 디코더 파라미터(bₓ, Vₓ; bᵧ, Vᵧ)를 두고, 하나의 인코더 φ를 공유한다. 학습 과정에서 (x→y), (y→x), (x→x), (y→y) 네 가지 복원 작업을 동시에 수행함으로써, 언어 간 정렬된 표현을 자연스럽게 유도한다. 특히 (x→x)와 (y→y) 작업은 대규모 단일언어 코퍼스를 활용할 수 있어, 학습 데이터의 확장성을 높인다.

실험에서는 Europarl‑v7의 영어‑프랑스어, 영어‑독일어 병렬 문장을 이용해 임베딩을 학습하고, Reuters RCV1/RCV2 뉴스 코퍼스의 4가지 상위 카테고리 분류를 교차언어 전이 과제로 설정했다. 문서는 TF‑IDF 가중치의 Bag‑of‑Words 로 표현하고, 학습된 임베딩 행렬과 곱해 문서 레벨 벡터를 만든 뒤, 선형 SVM으로 분류기를 학습한다. 영어에서 학습한 분류기를 프랑스어·독일어 테스트 셋에 그대로 적용했을 때, 제안 모델은 Klementiev 등(2012)의 정렬 기반 임베딩과 비슷하거나 약간 낮은 오류율을 기록했다. 특히, 프랑스어‑영어 쌍에서 34.9%→27.7% (학습→테스트) 정도의 성능 차이를 보이며, 정렬 없이도 의미론적 정합성을 확보함을 입증한다.

시각화(t‑SNE) 결과는 동일 의미를 갖는 단어들이 두 언어 임베딩 공간에서 서로 가깝게 군집되는 것을 보여준다. 이는 트리 기반 확률 디코더와 문장 레벨 합산 인코더가 단어 간 의미적 관계를 효과적으로 전달한다는 증거다.

본 논문의 한계는 어휘 크기가 매우 큰 경우에도 트리 구조가 로그 복잡도를 유지하지만, 트리 구성 방식(무작위 할당)이 최적이 아닐 수 있다는 점이다. 또한, 현재는 Bag‑of‑Words만을 다루므로 어순이나 구문 정보를 반영하지 못한다. 향후 연구에서는 n‑gram 혹은 구문 수준의 입력을 포함하고, 트리 구조를 의미 기반 클러스터링으로 개선하는 방안을 제시한다.

요약하면, 이 연구는 단어‑레벨 정렬 없이도 다국어 임베딩을 학습할 수 있는 효율적인 자동인코더 프레임워크를 제시하고, 실제 교차언어 문서 분류 과제에서 경쟁력 있는 성능을 입증함으로써 다국어 NLP 분야에 새로운 방향을 제시한다.