RedVisor 추론 기반 프롬프트 인젝션 방어와 제로 카피 KV 캐시 재활용

초록

RedVisor는 고정된 대형 언어 모델 위에 경량 어댑터를 추가해 두 단계(검사·생성)로 프롬프트 인젝션을 탐지하고, 추론 결과를 그대로 활용해 KV 캐시를 재사용함으로써 안전성·유틸리티·성능을 동시에 확보한다.

상세 분석

RedVisor는 기존 방어 체계가 갖는 ‘안전성‑유틸리티‑효율성’ 삼중 딜레마를 해소하기 위해 세 가지 핵심 설계를 도입한다. 첫째, 어댑터를 모델 최상위 레이어에만 삽입하고, 내부 레이어는 완전히 동결시켜 KV 캐시의 일관성을 보장한다. 이렇게 하면 1단계에서 생성된 KV 상태가 2단계에서 그대로 재활용될 수 있어, 프리페일(prefill) 연산을 중복 수행하지 않는다. 둘째, 어댑터는 ‘게이트드 셀프‑어텐션’ 구조를 사용한다. 입력 토큰마다 게이트값 α∈