긴문맥 LLM을 위한 초안 기반 근사 추론: SpecKV·SpecPC와 효율‑정확도 혁신

초록

본 논문은 작은 초안 모델을 활용해 향후 출력 토큰을 미리 예측하고, 이를 기반으로 입력 토큰·KV 쌍의 중요도를 정밀하게 추정하는 ‘Draft‑based Approximate Inference’ 프레임워크를 제안한다. 구체적으로 KV 캐시 삭제에 초점을 둔 SpecKV, 프롬프트 압축에 적용한 SpecPC, 그리고 두 기법을 연계한 SpecKV‑PC를 설계한다. 이론적 오류 상한과 실험적 RULER 점수에서 기존 KV‑드롭, 희소 어텐션, 프롬프트 압축 기법들을 일관적으로 능가하며, 메모리·지연·처리량 측면에서도 동일한 효율을 유지한다.

상세 분석

이 논문은 긴 문맥을 필요로 하는 대형 언어 모델(LLM)의 추론 비용이 ‘쿼드러틱 연산·선형 메모리’라는 근본적인 한계에 봉착한다는 점을 출발점으로 삼는다. 기존의 근사 추론 기법들은 입력 토큰이나 현재 KV 쌍의 어텐션 활성화만을 이용해 미래 토큰이 어느 정도 영향을 받을지를 추정한다. 그러나 이러한 ‘전방 정보 부재’는 중요 토큰을 정확히 식별하지 못해 성능 저하를 초래한다는 한계가 있다.

논문은 이를 해결하기 위해 ‘초안 모델(draft model)’이라는 경량 모델을 도입한다. 초안 모델은 실제 타깃 모델과 동일한 토크나이저와 구조를 갖지만 파라미터가 훨씬 작아 빠르게 미래 토큰을 생성한다. 초안 모델이 생성한 ‘lookahead’ 토큰을 이용해 (1) KV 캐시 삭제 시 각 입력 KV 쌍에 대한 중요도 sᵢ를 평균 어텐션 활성화로 정의하고, (2) 프롬프트 압축 시 토큰 중요도를 초안 모델의 어텐션 가중치와 출력 토큰 간의 상관관계로 추정한다.

핵심 이론적 기여는 Theorem 1이다. 이는 초안 모델이 생성한 임베딩 ˆx(o)ᵢ와 실제 타깃 모델 임베딩 x(o)ᵢ 사이의 L2 오차가 ε 이하일 때, 중요도 추정치 ˆs와 실제 s 사이의 오차가 O(ε·√d) 이하임을 증명한다. 즉, 초안 모델이 충분히 정확하면 중요도 추정이 거의 정확해져 KV 삭제와 프롬프트 축소가 안전하게 이루어진다.

구현 측면에서 SpecKV는 ‘sparse prefill’ 단계에서 초안 모델이 생성한 lookahead 토큰을 이용해 각 KV 쌍의 중요도를 계산하고, 사전에 정의된 메모리 한도 C_max 이하로 가장 중요도가 낮은 KV를 순차적으로 삭제한다. SpecPC는 초안 모델의 어텐션 스코어를 토큰별 중요도 점수로 변환해, 프롬프트 전체에서 중요도가 낮은 토큰을 제거한다. 두 기법을 연계한 SpecKV‑PC는 먼저 프롬프트를 압축한 뒤 KV 캐시를 최적화함으로써, 메모리 사용량을 최소화하면서도 정확도 손실을 최소화한다.

실험에서는 Llama‑3‑70B, Qwen2.5 등 1‑14 B 규모 모델을 32 K 토큰 길이의 RULER‑32K 벤치마크에 적용하였다. 결과는 (a) ε가 감소할수록 RULER 점수가 상승하고, SpecKV가 LA Q++보다 낮은 ε를 달성해 더 높은 점수를 기록함을 보여준다. (b) 초안 모델과 타깃 모델 간 토큰 중요도 상관계수 R²가 0.85‑0.97 수준으로 높아, 초안 모델이 중요도 추정에 충분히 신뢰할 수 있음을 입증한다. (c) SpecPC에서는 초안 모델 규모가 커질수록 R²와 최종 성능이 동시에 향상된다. 전체적으로 메모리·지연·처리량 측면에서 기존 방법과 동일하거나 약간 개선된 효율을 유지하면서, 정확도는 평균 2‑4 %p 상승한다.

비판적으로 보면, 초안 모델 자체가 추가적인 연산과 메모리를 요구한다는 점이 있다. 논문은 초안 모델을 ‘경량’이라고 주장하지만, 실제 배포 환경에서 초안 모델이 GPU 메모리와 파이프라인에 미치는 영향을 정량적으로 분석하지 않았다. 또한, 현재 실험은 주로 영어 기반 요약·질문‑응답 등 제한된 작업에 국한돼 있어, 다국어·코드·멀티모달 등 다양한 도메인에서의 일반화 가능성은 아직 검증되지 않았다. 마지막으로, KV 삭제와 프롬프트 압축을 동시에 적용할 경우 발생할 수 있는 상호작용(예: 삭제된 KV가 압축된 프롬프트와 겹칠 때의 효과) 에 대한 심층 분석이 부족하다. 이러한 점들은 향후 연구에서 보완될 필요가 있다.