다중 의미 표현을 위한 저차원 서브스페이스와 Grassmannian 클러스터링

본 논문은 단어의 다의성을 효과적으로 모델링하기 위해 기존의 단일 벡터 임베딩을 넘어서는 새로운 기하학적 프레임워크를 제시한다. 먼저, 타깃 단어를 포함한 문장을 ‘컨텍스트’로 정의하고, 각 컨텍스트를 구성하는 단어들의 사전 학습된 워드 임베딩을 이용해 주성분 분석(PCA)을 수행한다. 실험적으로 500개의 고빈도 단어에 대해 3~5 차원 서브스페이스가 전체 에너지(분산)의 절반 이상을 차지함을 확인했으며, 이는 문장이 저차원 선형 부분공간으로 근사될 수 있음을 시사한다. 이러한 저차원 서브스페이스를 Grassmannian 매니폴드상의 점으로 보고, ‘Intersection Hypothesis’를 통해 단일 의미 단어의 벡터가 모든 컨텍스트 서브스페이스의 교차점에 위치한다는 가설을 세운다. ‘typhoon’ 사례에서 14 829개의 문맥 서브스페이스와 단어 벡터 사이의 코사인 유사도가 무작위 대비 크게 높아, 가설을 실증하였다. 다의어에 대해서는 ‘Polysemy Intersection Hypothesis’를 제시한다. 다의어의 각 의미별 컨텍스트 서브스페이스는 서로 다른 1차원 교차선(Intersection Direction)을 형성한다. ‘crane’이라는 단어를 예시로, 기계 의미와 새 의미 각각에 대해 4개의 문맥을 분석한 결과, 두 의미가 각각 독립적인 교차선을 갖는 것을 시각적으로 확인하였다. 이 기하학적 특성을 활용해 의미 유도·구분을 수행하는 알고리즘이 K‑Grassmeans이다. 알고리즘은 다음과 같이 동작한다. (1) 모든 컨텍스트를 서브스페이스로 변환하고, (2) K개의 클러스터(의미) 초기화 후 각 클러스터의 대표 교차선을 현재 클러스터에 속한 서브스페이스들의 첫 번째 주성분으로 계산한다. (3) 각 서브스페이스를 가장 가까운 교차선(거리: 최소 L2 거리)으로 재배정하고, (4) 교차선을 다시 업데이트한다. 이 과정을 수렴할 때까지 반복한다. 최종적으로 각 클러스터는 하나의 의미를 대표하는 1차원 방향을 갖게 되며, 새로운 문맥이 주어지면 해당 교차선과의 거리로 의미를 라벨링한다. 라벨링된 코퍼스를 이용해 기존 word2vec(skip‑gram)과 같은 임베딩 모델을 재학습하면, 의미별 lexeme 벡터를 얻을 수 있다. 논문에서는 하드 라벨(단일 의미 선택)과 소프트 라벨(확률적 의미 분포) 두 가지 방식을 모두 적용했으며, 이는 통신 분야의 터보·LDPC 디코딩에서 사용되는 ‘soft decision’ 개념과 유사하다. 실험에서는 두 가지 표준 WSI 데이터셋에서 기존 최첨단 방법들을 능가하는 성능을 보였다. (1) SemEval‑2010 Task 14(옴니버스 의미 라벨링)에서 최고 수준의 F‑score를 기록했고, (2) 저자 자체 구축한 50개 다의어, 6 567개 문맥 데이터에서도 높은 정확도를 달성했다. 또한, 의미가 섞인 단어에 대한 유사도 평가인 SCWS와 ‘police lineup’ 테스트에서도 기존 방법보다 현저히 높은 점수를 얻어, lexeme 임베딩의 품질을 입증하였다. 논문의 주요 기여는 다음과 같다. 1. **저차원 서브스페이스 기반 컨텍스트 표현**: 문장을 고차원 벡터가 아닌 Grassmannian 상의 서브스페이스로 모델링함으로써 의미 정보를 보다 구조적으로 포착한다. 2. **Grassmannian 기반 클러스터링(K‑Grassmeans)**: 서브스페이스 간의 교차선(1차원)이라는 기하학적 특성을 이용해 의미를 자동으로 유도·구분한다. 3. **무감독 lexeme 임베딩 학습 파이프라인**: 클러스터링으로 얻은 의미 라벨을 활용해 기존 워드 임베딩 모델을 재학습, 의미별 단어‑의미 쌍(lexeme) 벡터를 생성한다. 4. **새로운 인간 친화적 WSI 데이터셋**: 50개 다의어와 6 567개 문맥을 포함한 데이터셋을 공개, 기존 데이터보다 의미 구분이 직관적이고 해석 가능하도록 설계하였다. 전통적인 ‘global fit’ 방식은 전체 어휘에 대해 하나의 선형 모델을 적용해 의미 원자(discourse atoms)를 추출한다. 그러나 이는 다의어가 가진 복잡하고 미세한 의미 차이를 충분히 반영하지 못한다. 반면, 본 논문의 서브스페이스 교차선 접근법은 각 의미마다 독립적인 방향을 제공하므로, 의미가 겹치는 경우에도 구별이 가능하고, 의미가 희소하거나 새로운 의미가 등장했을 때도 유연하게 확장될 수 있다. 결론적으로, 이 연구는 자연어 처리에서 의미를 다루는 새로운 수학적 도구인 Grassmannian 기하학을 성공적으로 적용했으며, 무감독 방식으로 의미를 추출하고 고품질 lexeme 임베딩을 얻는 실용적인 프레임워크를 제시한다. 향후 연구에서는 더 큰 규모의 코퍼스와 다국어 환경에 적용하거나, 서브스페이스 차원을 동적으로 조정하는 방법을 탐색함으로써 의미 모델링의 일반성을 더욱 확대할 수 있을 것이다.