정체성 기반 이질 네트워크를 활용한 단어 임베딩

본 논문은 “동일 단어가 서로 다른 문맥에서 서로 다른 의미를 가질 수 있다”는 사실을 정체성(Identity)이라는 개념으로 정형화하고, 정체성‑민감(Identity‑sensitive) 단어 임베딩을 학습하는 새로운 프레임워크를 제안한다. 먼저, 저자들은 정체성‑라벨링된 텍스트 코퍼스를 전제한다. 정체성은 토픽, 감성, 카테고리 등 의미적으로 유의미한 그룹을 의미하며, LDA, 감성 사전, 혹은 사전 정의된 카테고리 사전 등을 이용해 자동으로 할당한다. 그 다음, 두 종류의 이분 그래프를 구축한다. 1) word‑context bipartite network(G_wc)는 전통적인 단어‑문맥 공출현 정보를 담으며, 엣지 가중치는 특정 단어와 주변 컨텍스트 단어가 함께 등장한 횟수이다. 이때 컨텍스트 단어는 정체성을 무시하고 일반 형태소 수준으로만 고려해 차원 폭을 줄인다. 2) word‑identity bipartite network(G_wi)는 단어와 그 단어가 취한 정체성 사이의 관계를 나타내며, 엣지 가중치는 해당 단어가 특정 정체성을 갖는 횟수이다. 두 네트워크는 모두 정점 집합 V_w(정체성 라벨이 붙은 단어)와 V_c(문맥 단어) 혹은 V_i(정체성)로 구성된 이질 그래프 형태를 띤다. 이러한 이질 네트워크를 저차원 공간에 임베딩하기 위해, 저자들은 기존의 대규모 네트워크 임베딩 모델 LINE을 확장한다. LINE은 1차 근접성(직접 연결)과 2차 근접성(공통 이웃) 두 가지 목표 함수를 정의하고, 각각을 확률적 스코어링 방식으로 최적화한다. 본 연구에서는 특히 2차 근접성을 강조한다. bipartite 구조에 대해 각 파티션 간의 확률적 조건부 분포 p(v_j|v_i) 를 소프트맥스 형태로 근사하고, 음수 샘플링을 통해 효율적인 손실 함수를 만든다. 최적화는 SGD 기반으로 수행되며, 각 정점(단어, 정체성, 문맥)마다 고유한 임베딩 벡터가 학습된다. 결과적으로, 단어 w는 정체성 i마다 별도 벡터 w_i 를 갖게 되고, 정체성 자체도 벡터 i 로 표현된다. 실험은 세 가지 정체성 유형에 대해 수행된다. (1) 토픽 정체성: 20Newsgroups 데이터셋에 LDA를 적용해 토픽 라벨을 생성하고, 토픽‑민감 임베딩을 학습한다. (2) 감성 정체성: IMDB 영화 리뷰에 감성 사전을 이용해 긍정/부정 라벨을 부여하고, 감성‑민감 임베딩을 만든다. (3) 카테고리 정체성: 위키백과 문서에 위키 카테고리 라벨을 매핑해 카테고리‑민감 임베딩을 구축한다. 각 실험에서 두 가지 평가를 진행한다. 첫째, 학습된 임베딩을 이용해 텍스트 분류(SVM) 성능을 측정한다. 둘째, 단어 유사도 벤치마크(WordSim‑353, MEN, SimLex‑999)에서 코사인 유사도를 계산한다. 비교 대상은 전통적인 Skip‑gram, GloVe, 그리고 다중 의미 임베딩 방법인 MSSG와 Huang et al.의 클러스터링 기반 접근법이다. 결과는 모든 데이터셋에서 제안 모델이 가장 높은 분류 정확도와 유사도 점수를 기록한다. 특히, 동일 단어가 서로 다른 정체성에 할당될 때 해당 벡터 간 거리가 크게 벌어지는 현상이 관찰되어, 정체성‑민감 임베딩이 의미 구분을 효과적으로 수행함을 시각화된 t‑SNE 플롯으로도 확인한다. 논문의 주요 기여는 다음과 같다. (1) 정체성 개념을 도입해 단어 의미를 다중 라벨로 표현하고, 정체성‑민감 임베딩이라는 새로운 연구 방향을 제시한다. (2) 단어‑문맥과 단어‑정체성 두 수준의 공출현 정보를 동시에 포착하는 이질 네트워크 모델을 설계한다. (3) LINE 기반의 효율적인 네트워크 임베딩 기법을 이질 그래프에 적용해 대규모 코퍼스에서도 확장 가능하도록 구현한다. (4) 토픽·감성·카테고리 등 다양한 정체성을 실험적으로 검증하고, 기존 방법들을 전반적으로 능가하는 성능을 입증한다. 한계점으로는 정체성 라벨링이 사전 지식이나 별도 모델에 의존한다는 점, 정체성 종류가 많아질 경우 네트워크 규모와 파라미터 수가 급증한다는 점, 그리고 정체성 간 상호작용을 명시적으로 모델링하지 않았다는 점을 들 수 있다. 향후 연구에서는 라벨링 없는 상황에서도 정체성을 자동 추출하는 비지도 학습, 정체성 간 관계 그래프를 추가해 다중 정체성 간 상호 영향을 반영하는 모델, 그리고 동적 텍스트 스트림에 대한 온라인 임베딩 확장 등을 탐색할 수 있다.