저비용 선형 어텐션 메커니즘

본 논문은 딥러닝에서 널리 사용되는 소프트맥스 기반 콘텐츠 어텐션이 갖는 두 가지 근본적인 한계—문서 길이에 비례하는 조회 비용(O(n))과 가변적인 메모리 요구(O(nk))—를 해결하고자 한다. 이를 위해 저자들은 소프트맥스 비선형성을 제거하고, 문서 전체를 고정 차원의 행렬 C=HᵀH 로 압축하는 선형 어텐션 메커니즘을 제안한다. **1. 기존 소프트맥스 어텐션의 문제점** 소프트맥스 어텐션은 R(D,Q)=Hᵀsoftmax(Hq) 로 정의되며, 각 질의마다 H와 q의 내적을 구하고 softmax를 통해 가중합을 만든다. 이 과정은 O(nk) 연산과 O(n) softmax 연산을 포함해 전체 복잡도가 O(mnk) (m은 질의 수)이며, 문서 전체 히든 상태 H를 메모리에 보관해야 하므로 O(nk) 공간이 필요하다. 긴 문서와 다수의 질의가 동시에 발생하는 실시간 시스템에서는 이 비용이 실용성을 크게 저해한다. **2. 선형 어텐션의 기본 아이디어** 선형 어텐션은 softmax를 생략하고 R(D,Q)=HᵀHq=Cq 로 정의한다. 여기서 C는 k×k 차원의 비중심 공분산 행렬이며, 문서 D에만 의존한다. C는 한 번만 전처리해 계산하면 되며, 이후 질의당 조회 비용은 O(k²) 로 n에 독립적이다. C를 계산하는 방법은 두 가지가 있다. 첫 번째는 직접 HᵀH 를 구하는 것이지만 이는 O(nk) 메모리를 요구한다. 두 번째는 순차적 업데이트 C(t+1)=C(t)+h(t+1)h(t+1)ᵀ 로, O(k²) 메모리만 사용하면서 O(nk²) 시간에 전처리를 마친다. **3. 역전파와 메모리 효율성** 선형 어텐션의 전방 연산 Cq=∑ₜ h(t)h(t)ᵀq 로 전개될 수 있다. 자동 미분 도구가 중간 C(t) 를 저장하면 메모리 사용이 증가하지만, 실제로는 ∇h(t)=q·h(t)ᵀ∇c(t)+∇c(t)·h(t)ᵀq 로 직접 그라디언트를 계산하면 중간 값을 저장할 필요가 없다. 따라서 학습 단계에서도 메모리 효율성을 유지한다. **4. 게이트형 선형 어텐션** 기본 선형 어텐션은 정보 손실이 크다는 단점이 있다. 이를 보완하기 위해 저자들은 α(t), β(t), f(t) 라는 비선형 함수를 도입한 일반화된 형태를 제시한다. 특히, α(t)=β(t)=1, f(t)=σ(Wh(t+1)+b)⊙h(t+1) 로 설정한 ‘게이트 선형 어텐션’은 각 타임스텝에서 어떤 성분을 강조할지를 학습하게 만든다. 업데이트 식은 C(t+1)=C(t)+f(t)f(t)ᵀ 로, 기본 선형 어텐션보다 더 풍부한 표현을 제공한다. **5. 실험 설정 및 결과** 실험은 CNN‑QA 데이터셋(평균 문서 길이 750, 문서당 평균 질문 4개)을 사용했다. 모든 모델은 동일한 구조를 갖으며, 문서와 질문을 각각 단일 레이어 GRU(숨김 차원 k=100) 로 인코딩하고, 단어 임베딩 차원도 100으로 설정했다. 비교 대상은 (1) 어텐션 없음, (2) 기본 선형 어텐션, (3) 게이트 선형 어텐션, (4) 전통적인 소프트맥스 어텐션이다. - 정확도 측면에서 소프트맥스 어텐션이 최고였지만, 게이트 선형 어텐션이 기본 선형보다 크게 앞섰다. - 어텐션이 포함된 모델은 학습 초기에 빠르게 수렴했으며, 이는 어텐션이 스킵 연결 역할을 하여 장기 의존성을 더 쉽게 학습하게 하기 때문이다. - 실제 조회 속도는 이론적으로 n·k·m 대비 m·k² 로 약 7배( n≈750, k=100 )의 속도 향상이 기대되지만, 현재 실험에서는 구현 최적화가 부족해 속도 차이는 크게 나타나지 않았다. **6. 논의 및 향후 연구** 선형 어텐션은 고정 크기(k²) 메모리와 O(k²) 조회 비용을 제공함으로써, 메모리 제한이 심하거나 실시간으로 수백만 건의 질의를 처리해야 하는 대규모 정보 검색 시스템에 적합하다. 그러나 k가 n보다 작을 경우 정보 손실이 불가피하며, 매우 긴 시퀀스에서는 고정 크기 표현이 충분히 풍부하지 않을 수 있다. 저자들은 로그·적응형 복잡도 압축, C와 h를 결합한 새로운 순환 유닛 설계, 그리고 더 복잡한 비선형 업데이트(예: 다중 게이트, 하이퍼볼릭 함수) 등을 통해 성능을 개선할 여지를 제시한다. 또한 외부 메모리 네트워크와 결합해 메모리 크기를 선형이 아닌 서브선형으로 유지하는 방안도 탐구할 가치가 있다. **7. 결론** 본 연구는 어텐션 메커니즘을 선형화함으로써 전통적인 O(n) 조회와 O(nk) 메모리 요구를 O(k²) 로 축소하고, 게이트와 비선형 변환을 통해 정확도 저하를 최소화한다. 실험 결과는 소프트맥스 어텐션에 비해 정확도는 낮지만, 어텐션이 없는 모델보다 현저히 우수함을 보여준다. 따라서 대규모 실시간 질의‑응답, 검색 엔진, 메모리 제한 환경 등에서 선형 어텐션은 실용적인 대안이 될 수 있다. 향후 연구는 표현력 강화와 복잡도 감소 사이의 최적 균형을 찾는 방향으로 진행될 것이다.