희소 비음수 행렬 기반 스킵그램 언어 모델링

초록

본 논문은 희소 비음수 행렬(Sparse Non‑negative Matrix, SNM) 추정 기법을 이용해 n‑gram 및 스킵그램 특징을 결합한 언어 모델을 제안한다. SNM은 특성‑단어 카운트 행렬에 조정 함수를 적용해 메타피처를 학습하고, 포아송 손실을 사용한 확률적 경사 하강법으로 효율적으로 파라미터를 최적화한다. One Billion Word Benchmark 실험에서 전통적인 Kneser‑Ney 모델에 근접하거나, 스킵그램을 포함했을 때 최신 RNN 모델 수준의 퍼플렉시티를 달성했으며, KN과의 선형 보간을 통해 최고 성능을 기록한다. 계산 복잡도와 메모리 사용량이 낮아 대규모 데이터에 적합한 장점을 가진다.

상세 분석

이 논문은 언어 모델링에서 특징 선택과 확률 추정의 두 축을 동시에 혁신하려는 시도로, 기존 n‑gram 기반 Kneser‑Ney(KN) 모델과 신경망 기반 RNN 모델의 장점을 결합한다. 핵심 아이디어는 훈련 데이터를 ‘희소 비음수 특성 벡터(f)’와 ‘희소 비음수 목표 벡터(t)’의 쌍으로 표현하고, 이를 비음수 행렬 M에 곱해 예측 벡터 y를 만든 뒤 정규화해 조건부 확률 P(w|history)를 얻는 것이다. 행렬 원소 M₍ᵢⱼ₎는 단순 카운트 C₍ᵢⱼ₎에 조정 함수 A(i,j)를 지수 형태로 곱한 형태(e^{A(i,j)}·C₍ᵢⱼ₎/Cᵢ*) 로 정의되며, A(i,j)는 메타피처들의 가중치 θ를 해시 테이블에 저장해 합산한다. 메타피처는 ‘특성 아이덴티티’, ‘특성 타입’, ‘특성 카운트’, ‘목표 아이덴티티’, ‘특성‑목표 카운트’ 등 5가지 기본 요소를 조합해 생성되며, 로그‑버킷팅을 통해 희소한 카운트도 효과적으로 다룰 수 있다. 손실 함수는 다중항 손실과 포아송 손실을 비교했으며, 포아송 손실이 전체 어휘 V에 대한 합산을 피하면서도 경사 계산이 간단해 대규모 학습에 유리함을 확인한다. 특히, 양성 예시(특성이 존재하고 목표 단어가 등장한 경우)만을 대상으로 그래디언트를 계산하도록 설계해 연산량을 |V| 배 만큼 감소시켰다. 과적합 방지를 위해 ‘leave‑one‑out’ 기법을 적용, 각 예시의 카운트를 업데이트 시 제외함으로써 일반화 성능을 유지한다. 스킵그램 특징은 (r, s, a) 튜플로 정의돼 원거리 단어와 건너뛴 단어 수, 인접 단어 수를 조절할 수 있다. 실험에서는 One Billion Word Benchmark을 사용해, 순수 n‑gram SNM이 KN에 5% 내외 차이로 근접하고, 스킵그램을 포함한 SNM이 RNN 수준(≈60 퍼플렉시티)까지 도달함을 보였다. 또한 KN과 SNM을 선형 보간하면 최종 퍼플렉시티가 61.4로, 기존 최고 기록을 갱신한다. 계산 측면에서 SNM은 최대 엔트로피 모델이나 RNN에 비해 메모리와 시간 복잡도가 낮아, 대규모 코퍼스에서도 n‑gram 수준의 확장성을 유지한다. 이와 같이 SNM은 특징 선택의 유연성과 효율적인 확률 추정이라는 두 마리 토끼를 잡으며, 향후 서브워드, 다중 언어, 혹은 비정형 텍스트에도 적용 가능성을 시사한다.