단일 BLSTM 모델로 모든 다의어 의미 구분

초록

본 논문은 하나의 양방향 LSTM(BLSTM) 네트워크를 이용해 언어 전반의 모든 다의어를 동시에 해결하는 Word Sense Disambiguation(WSD) 시스템을 제안한다. Sense와 context를 코사인 유사도로 결합한 후 BLSTM에 입력해 의미를 예측하며, SensEval‑3 데이터셋에서 기존 최고 성능 모델들과 견줄 만한 F‑measure를 달성하였다.

상세 분석

이 연구는 “one‑classifier‑per‑word” 방식의 한계를 지적하고, 모든 다의어를 하나의 통합 모델로 처리하는 구조적 혁신을 시도한다. 핵심 아이디어는 각 후보 의미(sense)를 고정 차원의 sense embedding으로 표현하고, 주변 단어들을 사전 학습된 GloVe word embedding으로 변환한 뒤, sense와 각 context word 사이의 코사인 유사도를 계산해 시퀀스 형태로 BLSTM에 공급하는 것이다. 코사인 유사도 시퀀스는 의미와 문맥 사이의 패턴을 학습하도록 설계돼, 올바른 의미에 대해 일관된 유사도 패턴을, 잘못된 의미에 대해서는 불규칙한 패턴을 생성한다.

모델은 총 6개의 레이어(임베딩, 코사인 레이어, BLSTM, 병합, 완전 연결, 시그모이드)로 구성된다. 기존 WSD 모델이 각 다의어마다 별도의 softmax 레이어와 가중치를 학습하는 반면, 본 모델은 모든 의미에 대해 동일한 파라미터를 공유한다. 이는 파라미터 수를 크게 줄이고, 의미 간 통계적 정보를 교차 학습하게 하여 희소 데이터 상황에서도 일반화 능력을 향상시킨다.

학습 목표는 이진 교차 엔트로피 대신 평균 제곱 오차(MSE)를 사용해 각 sense‑context 쌍에 대해 1(정답) 혹은 0(오답) 레이블을 예측하도록 한다. 최적화는 RMSprop을 적용하고, 임베딩, BLSTM, 완전 연결 레이어 전반에 dropout(임베딩 20 %, LSTM 출력 50 %, 완전 연결 50 %)과 word‑dropout(20 %)을 도입해 과적합을 방지한다. 하이퍼파라미터 탐색 결과, context window는 좌·우 각각 15 토큰, 임베딩 차원은 100, BLSTM 은 2×50 유닛이 최적으로 도출되었다.

실험은 SemEval‑3(lexical sample task 5) 데이터를 사용했으며, 명사 20개, 동사 32개, 형용사 5개의 총 57개 타깃 단어에 대해 평균 6.47개의 의미를 다룬다. 제안 모델은 전체 평균 F‑measure에서 상위 5개 모델 안에 들어, 기존에 다의어당 별도 분류기를 훈련해야 했던 방법 대비 효율성과 성능을 동시에 확보했다. 그러나 몇 가지 한계도 존재한다. 첫째, sense embedding을 무작위 초기화하고 학습만에 의존하기 때문에 초기 학습이 불안정하고, 대규모 의미 사전(예: WordNet 전체)으로 확장할 경우 학습 비용이 급증한다. 둘째, 코사인 유사도만을 입력 특징으로 사용함으로써 복합적인 문법·구조 정보를 충분히 활용하지 못한다는 점이 지적된다. 셋째, 평가가 SensEval‑3 한 데이터셋에 국한돼 있어 도메인 전이 성능을 검증하기 어렵다.

저자들은 향후 sense embedding을 사전 학습된 의미 벡터(예: retrofitted embeddings)와 결합하고, Transformer 기반 인코더로 교체해 문맥 정보를 더 풍부히 포착하는 방안을 제시한다. 또한, 적은 라벨 데이터에서도 강건하게 학습할 수 있도록 메타‑학습이나 다중 작업 학습을 도입할 가능성을 언급한다. 전반적으로, 하나의 BLSTM으로 다수의 다의어를 동시에 처리한다는 설계는 모델 복잡도와 유지 비용을 크게 낮추면서도 경쟁력 있는 성능을 보여, 실용적인 WSD 시스템 구축에 중요한 방향성을 제시한다.