온라인 벡터 양자화 주의 메커니즘

초록

본 논문은 기존 자기‑주의의 2차 복잡도와 선형 주의·SSM의 메모리 한계를 동시에 극복하고자, 키와 값을 모두 온라인으로 학습하는 온라인 벡터 양자화(OVQ) 주의 방식을 제안한다. Gaussian Mixture Regression을 이론적 토대로 삼아 희소 메모리 업데이트와 가변적인 메모리 크기를 구현했으며, 4k‑64k 토큰 길이의 합성 장기 기억 과제와 실제 언어 모델링에서 기존 선형 주의와 원본 VQ‑주의를 크게 앞선 성능을 보였다.

상세 분석

OVQ‑주의는 기존 VQ‑주의가 사전 학습된 키 사전(Dk)만을 고정하고 값 사전(Dv)만을 순방향 전파 중에 업데이트하는 구조적 한계를 인식하고, 두 사전을 모두 순차적으로 온라인 학습하도록 설계되었다. 이때 핵심 이론적 근거는 Gaussian Mixture Regression(GMR)이다. GMR은 입력(키)‑출력(값) 쌍을 하나의 다변량 가우시안 혼합 모델로 추정하고, 주어진 쿼리 q에 대해 각 혼합 성분의 가우시안 커널(softmax 형태)과 해당 성분의 사전 확률(카운트 벡터 c)으로 가중합을 수행한다. 논문은 GMR의 예측식 E