대규모 언어 모델을 위한 효율적 어텐션 메커니즘 종합 조사

초록

본 논문은 트랜스포머 기반 대형 언어 모델에서 발생하는 O(L²) 시간·메모리 복잡도의 근본적인 한계를 극복하기 위해 제안된 두 가지 효율적 어텐션 패러다임—선형 어텐션과 희소 어텐션—을 체계적으로 정리한다. 커널 근사, 순환/포기 메커니즘, 빠른 가중치 역학 등으로 구현되는 선형 어텐션과, 고정 패턴, 블록 라우팅, 클러스터링 기반 토큰 선택으로 구현되는 희소 어텐션을 각각 이론적 배경, 알고리즘 구조, 하드웨어 구현 관점에서 비교한다. 또한, 순수 효율 어텐션 모델과 로컬·글로벌 어텐션을 혼합한 하이브리드 설계가 실제 대규모 사전학습 모델에 어떻게 적용되는지를 사례 중심으로 살펴보고, 향후 연구 방향을 제시한다.

상세 분석

논문은 먼저 선형 어텐션을 세 가지 흐름으로 구분한다. 첫 번째는 소프트맥스 커널을 φ 함수로 근사해 exp(q·k) ≈ φ(q)ᵀφ(k) 형태로 변환하는 커널화 접근법이다. 여기서는 Performer, Linear Transformer, RF‑A, cosFormer, HedgeDog 등이 제시되며, 랜덤 피처, 양의 정규화, 코사인 변형 등 다양한 φ 설계가 정확도‑효율성 트레이드오프에 미치는 영향을 실험적으로 분석한다. 두 번째 흐름은 순환적/포기 메커니즘을 도입해 상태 Sₜ 를 γ 또는 Gₜ 와 같은 decay/gate 파라미터로 업데이트하는 방식이다. 데이터‑독립적 γ (예: RetNet, Eagle, Lightning)와 데이터‑종속적 Gₜ (예: Mamba, GLA) 사이의 차이를 수식적으로 정리하고, 각각이 장기 의존성 보존과 메모리 사용량에 미치는 영향을 비교한다. 특히, γ 가 고정이면 O(1) 시간에 상태를 갱신할 수 있어 하드웨어 파이프라인에 유리하지만, 입력에 따라 가변적인 Gₜ 는 표현력을 크게 향상시킨다. 세 번째 흐름은 빠른 가중치 역학을 메타‑러닝 관점에서 바라보는 것으로, DeltaNet, TTT, Longhorn 등은 ΔW 와 같은 빠른 가중치 업데이트를 메모리와 결합해 O(L) 연산으로 구현한다. 이들은 인‑컨텍스트 학습 능력을 강화하면서도 기존 선형 어텐션보다 높은 정확도를 달성한다.

희소 어텐션 파트에서는 고정 패턴(슬라이딩 윈도우, dilated, global 토큰)과 블록‑스파스, 라우팅‑기반 블록‑스파스, 클러스터링 기반 어텐션을 구분한다. 고정 패턴은 구현이 단순하고 FlashAttention 과 같은 하드웨어 가속에 최적화되지만, 토큰 간 장거리 의존성을 완전히 포착하지 못한다. 블록‑스파스는 토큰을 블록 단위로 그룹화해 GPU 메모리 접근 패턴을 개선하고, 라우팅 기법(예: SeerAttention, MoBA)은 동적 스코어링을 통해 중요한 블록을 선택한다. 클러스터링 어텐션은 k‑means, LSH 등을 이용해 의미적으로 유사한 토큰을 묶어 O(L log L) 또는 O(L) 복잡도로 압축한다. 논문은 각 방법이 실제 모델에 적용될 때 발생하는 latency, throughput, 그리고 정확도 손실을 정량적으로 비교한다.

마지막으로, 효율 어텐션을 적용한 사전학습 LLM 사례를 두 범주로 정리한다. “순수 효율 모델”은 EAGLE, Falcon‑Mamba, MiniCPM‑4 등으로, 전체 어텐션을 선형 혹은 블록‑스파스로 교체해 수십억 파라미터 규모에서도 constant‑time 추론을 달성한다. “하이브리드 모델”은 GPT‑3, Jamba, Character.AI 등으로, 로컬 dense 어텐션과 글로벌 sparse 어텐션을 층별·헤드별로 혼합해 연산 효율과 컨텍스트 커버리지를 동시에 최적화한다. 논문은 이러한 설계가 하드웨어(특히 GPU/TPU 메모리 대역폭, 캐시 친화성)와 어떻게 맞물리는지를 상세히 논의하고, 앞으로 LLM 시대에 효율 어텐션 이 차지할 전략적 위치를 전망한다.