KV 캐시 압축 가능성 평가 KVCoRE 벤치마크

초록

KVCoRE는 KV‑cache의 데이터‑종속 저차원 압축 가능성을 SVD 기반으로 정량화하는 방법이다. 키·밸류 행렬에 대한 증분 SVD를 수행해 최적의 저랭크 근사를 구하고, 정규화 유효 랭크(NER)를 압축성 지표로 제시한다. 다양한 영어 도메인과 16개 언어에 걸친 5개 모델을 분석한 결과, 모델 구조·학습 데이터·언어 커버리지가 압축성에 일관된 영향을 미침을 발견했다. NER는 퍼플렉시티 저하와 강한 상관관계를 보여, 동적·데이터‑인식 압축 전략 설계에 활용될 수 있다.

상세 분석

KVCoRE는 기존 KV‑cache 압축 연구가 무시해 온 두 가지 핵심 문제—데이터‑종속성 및 레이어별 압축성 차이—를 해결한다. 핵심 아이디어는 각 레이어의 키와 밸류 활성화 행렬 K와 V에 대해 증분적인 특이값 분해(SVD)를 수행함으로써, 전체 데이터셋에 걸친 특이값 스펙트럼을 효율적으로 추출하는 것이다. 이를 위해 저자들은 토큰 단위로 키·밸류 벡터를 계산하고, m·h·d·h 차원의 공분산 행렬 C를 누적한다. 최종적으로 C에 대한 고유값 분해를 수행하면 KᵀK와 동등한 특이값과 오른쪽 특이벡터를 얻을 수 있어, 메모리 사용량을 O((m·h·d·h)²) 수준으로 제한하면서도 정확한 특이값 정보를 확보한다.

특이값 기반 압축성 평가는 Eckart‑Young‑Mirsky 정리를 활용한다. 특정 랭크 k에 대해 최적의 저랭크 근사는 가장 큰 k개의 특이값과 대응하는 특이벡터를 선택함으로써 Frobenius 노름에서 최소 오차를 보장한다. 저자들은 이 이론적 최적성을 바탕으로, 압축 행렬 f_WK = W_K V_k V_kᵀ 를 도출한다. 여기서 V_k는 오른쪽 특이벡터의 상위 k개를 의미하며, 실제 추론 시에는 W_K를 두 개의 행렬(다운‑프로젝션 W_K V_k와 업‑프로젝션 V_kᵀ)로 분해해 KV‑cache를 k 차원으로 축소한다. 이는 메모리와 대역폭 소비를 크게 감소시키면서도 원본 출력과의 차이를 최소화한다.

압축성을 정량화하기 위해 도입된 Normalized Effective Rank(NER)는 특이값 분포의 균등성을 측정한다. 효과적 랭크 erank(K)는 특이값을 확률 분포 p_i = σ_i / Σσ_j 로 변환한 뒤 엔트로피 기반 지수를 취해 정의되며, 이를 실제 랭크 r 로 정규화해 NER = erank(K)/r 로 계산한다. NER 값은 1/r 에서 1 사이에 위치하고, 값이 낮을수록 몇 개의 큰 특이값이 전체 에너지를 지배함을 의미해 압축 가능성이 높다.

실험에서는 Qwen3(4B/8B), Mistral‑7B, Gemma‑1.1(2B/7B), Phi‑3‑mini‑128k‑instruct 등 네 가지 아키텍처와 다섯 개 영어 도메인(Instruction, Code, Medical, FunctionCall 등) 및 16개 언어에 대해 KVCoRE를 적용했다. 결과는 다음과 같다. (1) 레이어별 NER 패턴이 일관되게 나타났으며, 초기 레이어는 상대적으로 높은 NER(압축 어려움)를 보이고, 중·후반 레이어는 낮은 NER(압축 용이) 경향을 보였다. (2) 모델 규모가 커질수록 전체적으로 NER 평균이 감소했지만, 특정 레이어에서는 오히려 압축성이 떨어지는 현상이 관찰돼, 아키텍처 설계 시 레이어별 용량 배분이 중요함을 시사한다. (3) 언어별 분석에서는 라틴계 언어보다 비라틴계 언어(예: 아랍어, 베트남어)에서 NER가 낮아, 다국어 모델이 해당 언어에 대해 더 높은 차원의 표현을 사용한다는 점을 확인했다. (4) NER와 퍼플렉시티 감소량(ND‑PPL) 사이의 상관계수는 0.87에 달해, NER가 실제 성능 저하를 예측하는 강력한 프록시임을 입증했다.

이러한 발견은 동적 압축 전략, 즉 입력 데이터와 현재 레이어의 NER 값을 실시간으로 모니터링해 적절한 랭크 k를 선택하는 방법의 가능성을 열어준다. 또한, 데이터‑중심 모델 개발 단계에서 특정 도메인·언어에 대한 KV‑cache 압축성을 사전에 평가함으로써, 메모리 제한이 있는 환경에서도 효율적인 파인‑튜닝 및 배포가 가능하도록 설계 지침을 제공한다.