쿼리 인식 벡터 캐시 QVCache

초록

QVCache는 백엔드에 독립적인 쿼리‑레벨 캐시로, 임베딩 공간에서 의미적으로 유사한 쿼리를 인식해 기존 ANN 검색을 대체한다. 온라인 학습으로 지역별 거리 임계값을 자동 조정하고, 메모리 사용량을 미니‑인덱스 단위로 제한해 메가바이트 수준의 고정 메모리 풋프린트를 유지한다. 실험 결과, 워크로드가 시간‑의미적 지역성을 가질 때 40배에서 1000배까지 지연을 감소시키면서도 원본 ANN의 리콜을 보존한다.

상세 분석

본 논문은 벡터 검색 시스템이 직면한 두 가지 근본적인 병목—메모리 용량과 I/O 대역폭—을 해결하기 위해 “유사성 기반 캐시”라는 새로운 패러다임을 제시한다. 기존 캐시가 정확히 동일한 키를 재사용하는 전제에 의존하는 반면, QVCache는 쿼리 임베딩 간의 거리(metric) 를 활용해 “의미적으로 유사한” 쿼리를 동일 캐시 엔트리로 매핑한다. 이를 위해 저자는 (1) 지역별 거리 임계값을 동적으로 학습하는 온라인 알고리즘을 설계했으며, (2) 메모리 사용을 미니‑인덱스(동적 그래프 기반) 단위로 제한해 캐시 자체가 무한히 커지는 것을 방지한다. 온라인 학습은 백엔드 ANN이 반환한 k‑번째 이웃 거리와 현재 임계값을 비교해 오차를 최소화하도록 업데이트한다. 임계값이 너무 작으면 히트율이 낮아 백엔드 호출이 빈번해지고, 너무 크면 리콜이 손상된다. 논문은 이 트레이드오프를 수학적으로 모델링하고, 실제 워크로드(검색, 추천, RAG)에서 관측된 “시간‑의미적 지역성”을 이용해 임계값을 지역별로 차등 적용함으로써 높은 히트율과 리콜 보존을 동시에 달성한다. 또한, 캐시 검색 자체를 경량화하기 위해 FreshVamana 그래프를 채택했으며, 삽입·삭제를 미니‑인덱스 수준에서 수행해 동시성 제어 비용을 최소화한다. 실험에서는 메모리 풋프린트를 전체 데이터셋의 1% 이하(수 메가바이트)로 유지하면서, 백엔드가 디스크 기반이든 메모리 기반이든 관계없이 평균 지연을 40배1000배 단축한다. 특히, 임베딩 유사도가 0.7 이상인 쿼리 쌍이 전체의 3070%를 차지한다는 통계적 근거를 들어, QVCache가 실제 서비스 환경에서 비용 효율적인 가속기 역할을 할 수 있음을 설득력 있게 입증한다.