주의력으로 간접 프롬프트 주입 공격을 막아라

초록

LLM 기반 애플리케이션의 주요 위협인 간접 프롬프트 주입(IPI) 공격을 방어하기 위한 프레임워크 ‘Rennervate’를 소개합니다. 이 방법은 LLM의 내부 주의력(Attention) 특징을 활용해 토큰 수준에서 공격을 정밀하게 탐지하고, 악성 주입만을 제거하며 원래 기능은 유지하는 세척(Sanitization)을 가능하게 합니다. 5개의 LLM과 6개의 데이터셋에서 15개의 기존 방어 방법을 능가하는 성능을 입증했으며, 새로운 공격에 대한 전이성과 적응형 공격자에 대한 강건성도 확인했습니다.

상세 분석

이 논문의 핵심 기술적 통찰은 LLM의 내부 작동 메커니즘, 특히 ‘주의력(Attention)‘이 IPI 공격 탐지에 있어 강력하고 전이 가능한 신호를 제공한다는 점입니다. 기존의 키워드 기반 또는 보조 LLM을 이용한 탐지 방법은 새로운 공격 유형에 취약하거나 비용이 많이 듭니다. 반면, Rennervate는 LLM이 악성 주입 명령을 처리할 때 나타나는 독특한 주의력 패턴을 학습합니다. 공격자가 외부 데이터에 “이전 지시를 무시하라"는 문구를 숨겨도, LLM이 이 텍스트에 부여하는 ‘주의’의 양과 방식은 정상적인 데이터 처리와 다르기 때문입니다.

주요 기술 혁신은 ‘2단계 주의 풀링(2-step Attentive Pooling) 메커니즘’입니다. 첫 번째 단계에서는 여러 주의력 헤드(Attention Head)에서 나온 정보를, 각 헤드가 IPI 탐지에 기여하는 중요도에 따라 가중치를 두어 집계합니다. 두 번째 단계에서는 생성된 응답 토큰 시퀀스에 걸쳐 정보를 다시 집계하여 최종 판단을 내립니다. 이 과정은 모든 토큰 위치에서 병렬로 실행되어 효율적입니다. 이를 통해 모델은 공격 패턴의 미묘한 차이를 포착하고, 다양한 LLM 아키텍처(인코더-디코더, 인과적 디코더 등)에 적용 가능한 일반적인 특징을 추출할 수 있습니다.

또한, ‘세척(Sanitization)’ 기능은 단순 탐지를 넘어서는 실용적 가치를 제공합니다. 토큰 수준 탐지는 악성 주입이 정확히 어디에 있는지 위치를 특정할 수 있게 하여, 해당 부분만을 제거하거나 무력화하는 정밀 조작을 가능하게 합니다. 이는 기존 방법이 공격이 탐지되면 전체 입력 또는 작업을 차단하는 ‘서비스 거부’ 상황을 초래했던 점을 극복합니다. 결과적으로 사용자는 공격 경고를 받으면서도 LLM 애플리케이션의 원래 작업(예: 웹페이지 요약)은 정상적으로 수행할 수 있습니다.