언어 제약을 활용한 단어 벡터 재조정

초록

본 논문은 동의어와 반의어 관계를 이용해 기존 사전학습 단어 벡터를 가볍게 후처리하는 “counter‑fitting” 기법을 제안한다. 제안 방법은 SimLex‑999에서 새로운 최고 성능을 기록하고, 대화 상태 추적(DST)에서 도메인 온톨로지를 반영한 어휘 사전을 자동 생성함으로써 추적 정확도를 향상시킨다.

상세 분석

이 연구는 분포 기반 단어 임베딩이 동의어와 반의어를 구분하지 못하는 근본적인 한계를 해결하고자 한다. 기존 GloVe·Word2Vec 등은 동일 문맥에 등장하는 단어들을 유사하게 매핑하지만, “expensive”와 “cheap”처럼 의미는 반대이면서도 문맥이 겹치는 경우 벡터 거리가 작게 나오게 된다. 이를 보완하기 위해 저자들은 두 종류의 언어 제약(A: 반의어 쌍, S: 동의어 쌍)을 정의하고, 세 가지 손실 항을 포함하는 목적 함수를 설계한다.

1. Antonym Repel (AR) – 반의어 쌍 (u,w)∈A에 대해 거리 d(v′_u, v′_w)를 최소 δ(=1)보다 크게 유지하도록 비용 τ(δ−d) 를 적용한다. 여기서 d는 1−cosine similarity이며, τ는 마진 손실을 의미한다.
2. Synonym Attract (SA) – 동의어 쌍 (u,w)∈S에 대해 거리 d를 γ(=0) 이하로 끌어당기는 비용 τ(d−γ) 를 부과한다.
3. Vector Space Preservation (VSP) – 원래 벡터 공간 V의 근접 관계를 가능한 보존하기 위해, 각 단어 i와 그 이웃 N(i) 사이의 거리 변화를 최소화한다. 이때 N(i)는 원래 공간에서 반경 ρ(≈0.2~0.4) 이내에 있는 단어 집합이다.

전체 비용 C는 k₁·AR + k₂·SA + k₃·VSP 로 가중합되며, 실험에서는 k₁=k₂=k₃=1 로 동일 비중을 부여한다. 최적화는 20 epoch의 SGD 로 수행되며, 4코어 노트북에서 2분 이내에 완료된다.

제안 방법은 두 종류의 사전학습 벡터(GloVe‑CommonCrawl, Paragram‑SL999)와 두 개의 외부 어휘 자원(PPDB 2.0, WordNet)을 조합해 적용한다. 반의어 제약은 PPDB의 “Exclusion” 라벨과 WordNet의 반의어 관계에서 추출했으며, 동의어는 PPDB의 “Equivalence” 라벨을 활용한다. 총 12,802개의 반의어와 31,828개의 동의어 쌍이 사용되었다.

실험 결과는 두 가지 주요 태스크에서 확인된다. 첫째, SimLex‑999(의미적 유사성 평가)에서 기존 최고점 0.685를 넘어 0.74의 Spearman 상관계수를 달성하였다. 특히 GloVe에만 적용했을 때도 큰 폭의 개선이 있었으며, Paragram‑SL999은 이미 PPDB 기반으로 최적화돼 있었지만 반의어 제약을 추가함으로써 추가 향상이 가능했다. 둘째, 대화 상태 추적(DST)에서는 슬롯‑값 온톨로지를 반의어 제약으로 삽입해 어휘 사전을 자동 생성하였다. RNN 기반 belief tracker에 사전 구축된 사전을 적용했을 때, 기본 GloVe와 Paragram에 비해 각각 0.8~1.0%p 정도 정확도가 상승했으며, counter‑fitted 벡터를 사용한 사전은 가장 높은 성능을 보였다.

이러한 결과는 (1) 반의어 정보를 명시적으로 벡터 공간에 반영하면 의미적 유사성 판단이 크게 개선됨을, (2) 도메인‑특화 온톨로지를 손쉽게 임베딩에 통합함으로써 실용적인 대화 시스템에 바로 적용 가능한 어휘 사전을 자동 생성할 수 있음을 시사한다. 또한, VSP 항을 통해 원래의 분포 정보 손실을 최소화함으로써 기존 임베딩의 일반화 능력을 유지한다는 점도 중요한 설계 포인트다.