오차 없는 선형 어텐션, 무료 점심: 연속시간 동역학의 정확 해법

초록

EFLA는 선형 어텐션을 연속시간 ODE로 모델링하고, 동역학 행렬의 rank‑1 특성을 이용해 정확한 폐쇄형 해를 선형 시간 안에 계산한다. 이를 통해 수치적 오차와 불안정성을 완전히 제거하면서도 기존 DeltaNet과 동일한 연산 복잡도를 유지한다. 실험에서는 잡음이 많은 환경과 높은 입력 스케일에서도 퍼플렉시티와 다운스트림 성능이 크게 향상됨을 보였다.

상세 분석

본 논문은 기존 선형 어텐션(예: DeltaNet)이 암묵적으로 Euler 방식으로 연속시간 ODE를 이산화한다는 점을 정확히 지적한다. Euler는 1차 근사이므로 단계별 truncation error가 누적돼 긴 시퀀스나 큰 decay rate에서 수치적 불안정성을 초래한다. 저자들은 이를 해결하기 위해 먼저 어텐션 업데이트를
( \dot S(t) = -A_t S(t) + b_t )
형태의 1차 ODE로 정의한다. 여기서 (A_t = k_t k_t^\top) (rank‑1)이고 (b_t = k_t v_t^\top)이다. 연속시간 해는
( S_t = e^{-\beta_t A_t} S_{t-1} + \int_0^{\beta_t} e^{-(\beta_t-\tau)A_t} b_t d\tau )
이며, 이는 무한 차수 Runge‑Kutta(=RK‑∞)와 동등하다.

핵심은 (A_t)가 rank‑1이므로 행렬 지수와 적분을 스칼라 형태로 축소할 수 있다는 점이다. 저자들은 (A_t^n = \lambda_t^{,n-1} A_t) ( (\lambda_t = k_t^\top k_t) ) 를 이용해
( e^{-\beta_t A_t} = I - \frac{1-e^{-\beta_t \lambda_t}}{\lambda_t} A_t )
를 도출하고, 적분 항 역시 동일한 스칼라 지수 함수를 사용해
( \int_0^{\beta_t} e^{-(\beta_t-\tau)A_t} b_t d\tau = \frac{1-e^{-\beta_t \lambda_t}}{\lambda_t} b_t )
를 얻는다. 결과적으로 업데이트 식은
( S_t = \bigl(I - \alpha_t k_t k_t^\top\bigr) S_{t-1} + \alpha_t k_t v_t^\top )
with ( \alpha_t = \frac{1-e^{-\beta_t \lambda_t}}{\lambda_t} ) 로 단순화된다.

이 식은 기존 DeltaNet의 형태와 구조적으로 동일하지만, (\alpha_t)가 동적으로 입력 키의 L2 노름을 반영하므로 “오차 없는” 정확한 decay factor를 제공한다. 연산 복잡도는 여전히 (O(L d^2)) (L: 시퀀스 길이, d: 차원)이며, 행렬‑벡터 연산을 병렬화할 수 있다.

논문은 또한 chunkwise parallelism을 적용해 기존 하드웨어 최적화 기법(UT 변환 등)을 그대로 활용한다. 실험에서는 sMNIST, OOD 스케일링, 픽셀 드롭아웃, 가우시안 노이즈 등 다양한 스트레스 테스트에서 EFLA가 DeltaNet보다 학습 속도가 빠르고, 높은 입력 스케일에서도 성능이 급격히 떨어지지 않으며, 잡음에 대한 복원력도 우수함을 입증한다. 특히, 키 노름을 이용한 동적 게이팅이 큰 입력 에너지에 대한 포화 현상을 방지한다는 점이 눈에 띈다.

이러한 기여는 선형 어텐션이 단순히 근사 방법이 아니라, 연속시간 시스템 이론과 정확히 일치하는 모델링이 가능함을 보여준다. 앞으로 SSM 기반 모델과 결합하거나, 더 높은 차원의 rank‑k 구조로 확장하는 연구가 자연스럽게 이어질 수 있다.