단어 임베딩 유추를 위한 Grassmannian 서브스페이스 거리 모델

초록

본 논문은 단어 벡터를 개별적으로 다루는 기존 방법을 넘어, 관련 단어 집합이 형성하는 저차원 서브스페이스를 Grassmannian 다양체 상의 점으로 모델링한다. 서브스페이스 간의 최단 경로인 지오데식 흐름을 이용해 관계별 커널(GFK)을 학습하고, 이를 기반으로 수정된 코사인 거리(δ_GR)를 정의한다. 실험 결과, Google·MSR 유추 데이터셋에서 기존 CosADD·CosMUL 대비 5~10%p 이상의 정확도 향상을 보이며, 관계 특화 거리 측정의 효용성을 입증한다.

상세 분석

이 연구는 단어 임베딩에서 유추 관계를 모델링할 때, 단어 벡터 자체보다 해당 단어들이 구성하는 선형 부분공간을 활용한다는 점에서 혁신적이다. 저차원 서브스페이스는 PCA 등 차원축소 기법으로 추출되며, 차원 d≤D인 정규 직교 기저 행렬 P_H, P_T이 각각 ‘head’와 ‘tail’ 관계를 나타낸다. 이러한 서브스페이스들의 집합은 Grassmannian G(d,D)라는 곡률이 있는 다양체를 형성한다는 수학적 사실을 이용한다. 두 서브스페이스 사이의 principal angles θ_i는 SVD를 통해 구해지며, cos θ_i와 sin θ_i는 지오데식 흐름 커널(GFK)의 폐형식 계산에 직접 사용된다. 논문은 Φ(t)=P_H U₁ Γ(t)−R_H U₂ Σ(t)와 같은 매개변수화된 지오데식 흐름을 정의하고, 이를 적분해 G_R을 얻는다. G_R은 양정치 행렬이며, 이를 통해 수정된 코사인 거리 δ_GR(i,k)= (ω_iᵀ G_R ω_k) / (‖G_R^{1/2} ω_i‖ ‖G_R^{1/2} ω_k‖) 를 계산한다. 이 거리 함수는 관계별로 차원을 가중치 조정하므로, 기존의 모든 차원을 동일하게 취급하는 코사인 유사도보다 관계 특성을 더 잘 반영한다. 실험에서는 SGNS와 PPMI‑SVD 두 종류의 임베딩을 500 차원으로 학습하고, 윈도우 크기(2,5)와 위치 정보 사용 여부에 따라 네 가지 설정을 시험한다. 결과는 GFK 기반 CosADD·CosMUL이 각각 49%p, 612%p 정도 기존 방법을 앞선다. 특히, 위치 정보를 제외하고 넓은 윈도우(5)를 사용할 때 가장 큰 성능 향상이 관찰된다. 이는 서브스페이스 간의 구조적 차이가 넓은 문맥에서 더 명확히 드러남을 시사한다. 한계점으로는 서브스페이스 차원 d와 PCA 선택이 성능에 민감하고, 대규모 코퍼스에서 SVD 비용이 높을 수 있다는 점이다. 향후 연구에서는 비선형 서브스페이스(예: 커널 PCA)와 다중 관계 동시 학습, 그리고 다른 NLP 태스크(문장 수준 유추, 의미 역할 라벨링)로의 확장이 기대된다.