LLM 시맨틱 캐시의 키 충돌: 성능과 보안의 딜레마

초록

LLM 응용에서 사용되는 시맨틱 캐시는 임베딩 벡터를 키로 삼아 유사한 질의를 재사용함으로써 지연 시간을 크게 줄인다. 그러나 이러한 “지역성” 설계는 해시 함수가 가져야 할 avalanche 효과와 근본적으로 충돌한다. 논문은 시맨틱 키를 퍼지 해시로 모델링하고, 이로 인한 키 충돌 공격 가능성을 이론적으로 증명한다. 제안된 CacheAttack 프레임워크는 블랙박스 환경에서도 임베딩 모델에 대한 적대적 프롬프트를 생성해 캐시 키를 강제로 일치시켜, LLM 응답을 탈취하고 에이전트 워크플로우를 오염시킨다. 실험에서는 86 % 이상의 히트율과 높은 성공률을 보였으며, 다양한 임베딩 모델 간 전이성도 확인되었다. 논문은 성능과 보안 사이의 트레이드오프를 강조하고, 완화 방안을 논의한다.

상세 분석

본 논문은 LLM 기반 서비스에서 널리 채택되고 있는 시맨틱 캐시 메커니즘을 암호학적 관점에서 재조명한다. 기존 연구들은 주로 캐시 사용으로 인한 비용 절감과 latency 감소에 초점을 맞추었으나, 저자들은 캐시 키가 “퍼지 해시(fuzzy hash)”와 동일한 역할을 한다는 점을 지적한다. 퍼지 해시는 입력 간의 작은 차이가 출력에도 작은 차이를 남겨, 유사한 입력이 동일한 해시값을 갖게 하는 특성을 가진다. 이는 LLM 캐시가 의도한 “지역성(locality)”을 구현하는 방식과 일치한다. 반면, 암호학적 해시가 요구하는 avalanche 효과는 입력의 미세한 변동이 출력 전체를 무작위로 바꾸는 것을 의미한다. 따라서 지역성을 극대화하려는 설계는 충돌 저항성을 희생하게 된다는 근본적인 트레이드오프가 존재한다.

이론적 분석에서는 시맨틱 키 kₚ = f(p) (f는 임베딩 모델)와 매칭 조건 match(p₁,p₂) = (sim(kₚ₁,kₚ₂) ≥ τ) 를 수식화하고, τ가 클수록 캐시 히트율이 상승하지만 동시에 false‑positive 충돌 가능성이 높아진다. 또한 LSH 기반의 KV 캐시에서도 동일한 현상이 나타나며, 해시 버킷이 넓게 정의될수록 공격자는 임의의 악성 프롬프트를 기존 캐시와 충돌시킬 여지가 커진다.

공격 모델은 완전한 블랙박스 상황을 가정한다. 공격자는 임베딩 모델의 내부 파라미터와 유사도 임계값을 알 수 없지만, 공개된 사전학습 임베딩(예: BAAI/bge‑small‑en‑v1.5)을 서브스투리트 모델로 활용한다. 이 서브스투리트 모델을 이용해 적대적 프롬프트를 생성하고, 실제 서비스에서 캐시 히트/미스 신호(응답 지연, 출력 일관성 등)를 관찰해 최적화한다. 두 가지 변형이 제시된다: CacheAttack‑1은 타깃 시스템에 직접 검증을 수행해 높은 정확도를 보장하지만 탐지 위험이 크고 시간 소모가 크다; CacheAttack‑2는 서브스투리트 모델을 통해 사전 탐색 후 후보 프롬프트를 전송함으로써 효율성을 높이고 탐지 가능성을 낮춘다.

실험에서는 4,185개의 IPI(Indirect Prompt Injection) 샘플을 포함한 SC‑IPI 데이터셋을 구축하고, 86 % 이상의 히트율과 81 % 이상의 injection success rate를 달성했다. 에이전트 워크플로우에서는 도구 호출 단계까지 악성 캐시가 재사용되어, 전체 정확도가 30 % 이상 감소하고, 금융 에이전트 시뮬레이션에서는 잘못된 주문이 실행되는 등 실질적 손해가 발생할 수 있음을 보여준다. 특히, 다양한 임베딩 모델(Ada, MiniLM, BGE 등) 간에 공격이 높은 전이성을 보이며, 모델 교체만으로는 완전한 방어가 어려움을 강조한다.

완화 방안으로는 (1) 임베딩 차원에서의 정규화와 동적 임계값 조정, (2) 캐시 엔트리의 서명 기반 무결성 검증, (3) 캐시 히트 시 추가적인 LLM 재검증(예: 샘플링 기반 다중 응답 비교) 등을 제시한다. 그러나 이러한 방안은 캐시 효율성을 저하시키는 비용을 수반하며, 근본적인 설계 트레이드오프를 해결하지는 못한다. 논문은 향후 연구 방향으로, 암호학적 보장을 갖춘 새로운 시맨틱 해시 설계와, 멀티‑테넌시 환경에서의 정책 기반 캐시 격리 등을 제안한다.