희소 어텐션을 위한 컴팩트 커널 회귀 해석

초록

본 논문은 트랜스포머의 희소 어텐션을 고전적인 커널 회귀 이론과 연결시켜, Epanechnikov·biweight·triweight 등 유한 지지(compact support) 커널이 α‑entmax 계열의 희소 어텐션과 정확히 대응함을 증명한다. 또한, 자동 정규화와 적응 대역폭을 통해 sparsemax와 α‑entmax를 커널 기반으로 유도하고, 새로운 ReLUmax 변환을 제안한다. 실험은 Memory Mosaics 구조에 적용해 언어 모델링·인‑컨텍스트 학습·길이 일반화에서 경쟁력을 확인한다.

상세 분석

논문은 먼저 기존 연구가 제시한 “소프트맥스 어텐션 = 가우시안 커널 회귀”라는 관계를 재정리하고, 커널 선택을 바꾸면 어텐션 메커니즘 자체가 어떻게 변하는지를 체계적으로 탐구한다. 핵심 아이디어는 Nadaraya‑Watson 추정식

\