하이브리드 선형 완전 어텐션 표현력 계층 구조

초록

**
본 논문은 선형 어텐션과 풀 어텐션을 혼합한 하이브리드 트랜스포머의 표현력을 이론적으로 분석한다. 순차 함수 합성이라는 다단계 추론 작업에 대해, (L+1)층 풀 어텐션 네트워크는 충분히 해결할 수 있지만, L‑1층 풀 어텐션과 2^{3L²}개의 선형 어텐션 층을 교차 배치한 하이브리드 네트워크는 해결하지 못한다는 명시적 구분을 제시한다. 또한 단일층 희소 어텐션이 2‑Sum 문제를 풀기 위해서는 풀 어텐션보다 훨씬 큰 자원(H·d·p) 요구한다는 결과도 제공한다.

**

상세 분석

**
이 논문은 최근 대규모 언어 모델에서 효율성을 위해 도입된 선형 어텐션과 하이브리드 어텐션의 근본적인 한계를 정량화한다. 핵심 아이디어는 “순차 함수 합성(L‑Sequential Function Composition)”이라는 작업을 통해 모델이 여러 단계의 함수 적용을 순차적으로 수행해야 하는 상황을 설정하고, 이를 풀 어텐션과 선형 어텐션이 각각 어떻게 구현할 수 있는지를 비교하는 것이다.

먼저 풀 어텐션은 모든 토큰 간의 쌍별 내적을 소프트맥스로 정규화해 가중합을 수행하므로, L‑1개의 풀 어텐션 층 뒤에 추가적인 한 층만 더 쌓으면 (L+1)층 구조에서 L단계 함수 합성을 정확히 구현할 수 있음을 보인다. 이는 기존 Chen et al. (2025)의 결과를 그대로 확장한 것으로, 풀 어텐션이 충분히 깊고 폭이 넓다면 다중 단계 추론을 효율적으로 수행한다는 점을 확인한다.

반면 선형 어텐션은 φ 함수를 통해 키와 쿼리를 선형화하고, 누적 상태 S와 Z를 유지함으로써 RNN 형태로 동작한다. 논문은 이를 “재귀적 형태(recurrence)”로 정의하고, 선형 어텐션 층을 L‑1개의 풀 어텐션 사이에 2^{3L²}개까지 삽입해도 L‑Sequential Function Composition을 해결하지 못한다는 하한을 증명한다. 증명은 “구별 불가능한 분해(indistinguishable decomposition)” 기법을 차용해, 선형 어텐션이 유지할 수 있는 정보량이 제한적이며, 특히 깊이가 늘어나도 누적 오류가 기하급수적으로 증폭된다는 점을 강조한다.

또한 논문은 희소 어텐션에 대해서도 유사한 분석을 수행한다. (B, k)‑희소 어텐션은 입력을 B‑크기의 블록으로 압축하고, 현재 토큰과의 유사도에 따라 k개의 블록만 선택한다. 2‑Sum 문제에 대해, 풀 어텐션은 H=1, d=3, p=log n이면 충분히 해결 가능하지만, 희소 어텐션은 H·d·p = Ω(B·log n) 수준의 자원을 필요로 한다는 하한을 제시한다. 이는 통신 복잡도(communication complexity) 관점에서 증명되며, 블록 크기 B가 커질수록 정보 손실이 커져 전체 입력을 균등하게 고려해야 하는 문제에 대해 근본적인 비효율성을 드러낸다.

핵심 기여는 다음과 같다. (1) 하이브리드 구조에 대한 일반적인 하한을 제시해, 선형 어텐션을 무한히 많이 쌓아도 풀 어텐션을 대체할 수 없음을 증명한다. (2) 선형 어텐션을 RNN으로 모델링함으로써 기존 RNN‑Transformer 비교 연구와 연결하고, 하이브리드 모델이 실제로는 “RNN‑like” 제한을 갖는다는 점을 명확히 한다. (3) 희소 어텐션에 대한 최초의 하드ness 결과를 제공해, 전역적인 토큰 상호작용이 필요한 작업에서는 풀 어텐션이 여전히 최적임을 이론적으로 뒷받침한다.

이러한 결과는 모델 설계 시 효율성을 추구하면서도 표현력 손실을 최소화하려는 연구자들에게 중요한 가이드라인을 제공한다. 특히 대규모 컨텍스트를 다루는 LLM에서 하이브리드 혹은 희소 어텐션을 적용할 때, 단순히 층 수를 늘리는 것이 아니라 구조적 제한을 명확히 이해하고, 필요한 경우 풀 어텐션을 유지하거나 추가적인 메커니즘(예: CoT, 외부 메모리)과 결합해야 함을 시사한다.

**