텐서 회귀 모델에서 어휘 모호성 해결을 위한 사전 의미 구분

초록

본 논문은 텐서 기반 의미 합성 모델에 사전 의미 구분(Disambiguation) 단계를 도입하여, 선형 회귀로 학습된 완전 텐서를 사용했을 때도 의미 표현의 정확도가 크게 향상됨을 실험적으로 입증한다. 두 가지 실험(지도 학습과 비지도 학습)에서 모호한 동사의 의미를 사전 구분한 모델이 원본 모델보다 높은 정확도, 평균 역순위(MRR), 코사인 유사도를 기록하였다.

상세 분석

이 연구는 기존의 “합성 전 의미 구분” 가설을 단순한 요소별 연산(덧셈·곱셈) 모델에만 적용해 온 흐름을 확장한다. 저자들은 텐서 기반 의미 합성 모델을 완전한 다중선형 맵(텐서)으로 구현하기 위해, 각 동사를 대상으로 선형 회귀를 수행한다. 구체적으로, 동사‑목적어 쌍을 수집하고, 목적어 벡터와 해당 구문 전체(holistic) 벡터를 입력‑출력 쌍으로 삼아 회귀식 ˆW = arg min ‖WXᵀ−Yᵀ‖²+λ‖W‖² 를 최적화한다. 이렇게 얻은 행렬 W는 차수‑3 텐서(동사) 대신 차수‑2 텐서(행렬) 형태이지만, 실제 실험에서는 차수‑3 텐서를 구성하는 복잡한 변환 없이도 충분히 표현력을 확보한다는 점이 핵심이다.

의미 구분 단계 φ는 문맥 기반 클러스터링(HAC) 혹은 사전 정의된 의미 집합을 이용해 각 동사의 여러 의미에 대응하는 별도 텐서를 생성한다. 지도 학습 실험에서는 5개의 다의어 동사(예: play, break 등)를 두 개의 의미 집합으로 나누어 각각 별도 행렬을 학습하고, 테스트 시 해당 의미에 맞는 행렬을 선택해 합성한다. 비지도 실험에서는 동사 사용 맥락을 평균 벡터화한 뒤 HAC로 군집화하여 자동으로 의미별 텐서를 추출한다.

성능 평가는 세 가지 지표를 사용한다. ① 정확도(Composite vector가 전체 후보 중 최상위에 위치하는 비율) ② 평균 역순위(MRR) ③ 전체 코사인 유사도 평균. 모든 지표에서 사전 의미 구분 모델이 원본 모델을 유의미하게 앞섰으며(p < 0.001), 특히 코사인 유사도에서 0.6~0.68 수준의 높은 점수를 기록했다. 이는 의미 구분이 단순히 “전처리” 단계가 아니라, 텐서 회귀가 학습하는 다중선형 변환 자체의 효율성을 크게 향상시킨다는 강력한 증거다.

또한, 이 논문은 모델 독립성을 강조한다. 텐서 회귀라는 비교적 복잡한 모델에서도 동일한 효과가 나타났으며, 이는 의미 구분이 모델 구조에 국한되지 않고, 의미 표현 자체의 불확실성을 감소시키는 보편적 전략임을 시사한다. 향후 연구에서는 더 높은 차수의 텐서(예: 차수‑4 이상)와 심층 신경망 기반 의미 구분기를 결합해, 문장 수준의 의미 합성 정확도를 더욱 끌어올릴 가능성을 제시한다.