단어벡터 의미특화와 다언어 전이 학습

초록

본 논문은 단어벡터에 동의어·반의어 제약을 주입해 의미적 품질을 높이는 Attract‑Repel 알고리즘을 제안한다. 단일 언어와 교차 언어 제약을 모두 활용해 여러 언어의 벡터를 하나의 공유 공간에 정렬하고, 이를 대화 상태 추적(DST) 등 다운스트림 작업에 적용해 성능 향상을 입증한다.

상세 분석

Attract‑Repel은 기존의 사전학습된 분포 기반 워드 임베딩을 입력으로 받아, 외부 사전(WordNet, BabelNet 등)에서 추출한 동의어(S)와 반의어(A) 쌍을 제약으로 활용한다. 학습은 미니배치 단위로 진행되며, 각 동의어 쌍에 대해 배치 내에서 가장 유사한 ‘부정 예시’ tₗ, tᵣ를 선택하고, 반의어 쌍에 대해서는 가장 거리가 먼 부정 예시를 선택한다. 손실 함수는 세 부분으로 구성된다. 첫 번째는 동의어 쌍이 부정 예시보다 최소 δ_syn 만큼 더 가깝게 만들도록 하는 힌지 손실이며, 두 번째는 반의어 쌍이 부정 예시보다 최소 δ_ant 만큼 더 멀어지도록 하는 힌지 손실이다. 세 번째는 원래 분포 벡터와의 L2 정규화 항으로, 의미 정보를 과도하게 왜곡하지 않도록 균형을 잡는다. 이 구조는 기존 retrofitting이나 Paragram과 달리 ‘끌어당김(attract)’과 ‘밀어내기(rep el)’를 동시에 최적화함으로써 동의어와 반의어 관계를 명시적으로 구분한다.

교차언어 확장은 BabelNet에서 제공하는 다국어 동의어·반의어 매핑을 이용한다. 영어와 목표 언어 사이에 존재하는 동일 의미 단어를 연결함으로써, 고자원 언어(예: 영어)의 풍부한 제약을 저자원 언어(예: 히브리어, 크로아티아)로 전이한다. 결과적으로 여러 언어의 벡터가 하나의 공동 임베딩 공간에 정렬되어, 언어 간 의미 일관성이 크게 향상된다.

실험은 두 단계로 진행된다. 첫 번째는 SimLex‑999와 SimVerb‑3500 등 의미 유사도 벤치마크에서의 내재적 평가이다. Attract‑Repel은 기존 최첨단 방법들을 앞서며, 특히 교차언어 특수화가 적용된 저자원 언어에서 평균 10 % 이상 정확도 향상을 보였다. 두 번째는 대화 상태 추적(DST)이라는 실제 응용 과제이다. 영어, 이탈리아어, 독일어에 대해 각각 새롭게 구축한 DST 데이터셋에 특수화된 벡터를 적용했으며, 기존 모델 대비 Joint‑Goal 정확도가 2~4 % 상승했다. 특히 다언어 통합 모델을 학습했을 때, 단일 언어 모델보다 모두 높은 성능을 기록해 다언어 전이 학습의 가능성을 입증했다.

한계점으로는 사전이 전혀 존재하지 않는 초저자원 언어에 대한 적용이 어려우며, 부정 예시 선택이 배치 크기에 민감하다는 점을 들 수 있다. 또한, 반의어 제약이 과도하게 적용될 경우 의미 공간이 과도하게 분리돼 일부 유사도 작업에서 성능 저하가 관찰된다. 향후 연구에서는 동적 배치 샘플링과 제약 가중치 자동 조정 메커니즘을 도입해 이러한 문제를 완화할 수 있을 것이다.