트랩서픽스 사전 방어형 접미어 공격 차단

초록

트랩서픽스는 경량 파인튜닝을 통해 LLM에 함정형 행동을 삽입, 공격자가 생성하는 악성 접미어를 두 가지 경로(함정 지역에 머무르거나 추적 가능한 지문을 남김)로 유도한다. 결과적으로 접미어 기반 탈옥 성공률을 0.01% 이하로 낮추고, 성공 시 87.9% 이상의 추적 가능성을 확보한다. 추론 단계에서 추가 비용이 없으며 메모리 오버헤드도 15.87 MB 수준에 불과하다.

상세 분석

본 논문은 접미어 기반 탈옥 공격이 토큰 시퀀스의 자유로운 조합을 이용해 무한에 가까운 탐색 공간을 형성한다는 점에 주목한다. 기존 방어는 주로 사후 탐지 혹은 필터링에 의존해, 공격자가 새로운 형태의 접미어를 생성하면 즉시 무력화되지 못한다는 한계가 있다. 트랩서픽스는 이러한 비대칭성을 역전시켜, 방어자가 비밀 트랩 토큰 집합 (T_{trap})을 모델에 삽입함으로써 공격자의 최적화 경로 자체를 재구성한다. 핵심 메커니즘은 두 단계로 이루어진다. 첫째, LoRA 기반 저차원 파라미터 업데이트를 통해 ‘함정 지역’(rugged local minima)을 형성한다. 이 지역은 공격자가 손실 함수를 최소화하려 할 때 표면적으로는 손실 감소를 보이지만, 실제로는 안전한 응답을 유도하는 비효율적인 접미어에 수렴하도록 만든다. 둘째, 트랩 토큰이 포함된 접미어에 대해 별도의 ‘지문 점수’ (\Phi)를 부여해, 성공적인 탈옥이 발생할 경우 반드시 트랩 토큰이 포함된 형태가 되도록 강제한다. 이렇게 하면 성공적인 공격은 반드시 추적 가능한 지문을 남기게 되며, 방어자는 사후 분석을 통해 공격자를 식별할 수 있다.

논문은 공격자의 목표 함수를 일반화된 교차 엔트로피 손실 (L_J)로 정의하고, 이를 기반으로 방어 목적 함수를 설계한다. 트랩 접미어와 일반 접미어를 쌍으로 구성한 대비 학습(constrastive fine‑tuning)으로, 모델은 동일한 유해 질문에 대해 트랩 접미어가 포함된 경우와 그렇지 않은 경우의 응답 차이를 학습한다. 이 과정에서 모델은 트랩 토큰이 등장하면 안전한 ‘Safe Region’으로 응답을 전환하거나, 손실이 급격히 상승하는 ‘Rugged Landscape’를 경험하게 된다.

실험에서는 LLaMA‑3‑8B‑Instruct, Llama‑2‑13B 등 여러 오픈소스 모델에 트랩서픽스를 적용했으며, 기존 탈옥 기법(예: AutoDAN, Prompt Injection, Greedy Search 등) 대비 평균 공격 성공률을 0.01% 이하로 감소시켰다. 또한, 성공적인 탈옥에 대해 87.9% 이상의 추적 성공률을 기록했으며, 이는 트랩 토큰이 포함된 접미어를 정확히 식별해낸 결과이다. 메모리 측면에서는 LoRA 파라미터만 추가해 평균 15.87 MB의 오버헤드만 발생, 기존 LLM 기반 탐지 방어가 요구하는 수만 MB 수준과 비교해 수십 배 효율적이다. 추론 단계에서는 추가 연산이 전혀 없으며, 기존 필터링 시스템과도 자연스럽게 결합돼 복합 방어 체계를 구성한다.

이러한 설계는 공격자가 트랩 토큰을 회피하려 할 경우, 손실 함수가 급격히 변동하는 ‘함정 지역’에 빠져 최적화가 수렴하지 못하도록 만든다. 반대로 트랩 토큰을 의도적으로 포함시키면 지문 점수가 높아져 추적이 가능해진다. 따라서 공격자는 두 선택지 사이에서 ‘실패하거나 추적당한다’는 딜레마에 직면한다. 논문은 또한 적응형 공격(방어를 인지하고 트랩 토큰을 회피하려는 시도)에도 견고함을 보이며, 방어 파라미터가 공개돼도 공격 성공률이 크게 상승하지 않음을 실험적으로 입증한다.

요약하면, 트랩서픽스는 LLM의 파라미터를 최소한으로 수정해 공격자의 최적화 경로 자체를 조작함으로써, 사후 탐지에 의존하던 기존 방어를 넘어 사전 차단과 추적 가능성을 동시에 제공한다. 이는 LLM 서비스 제공자가 비용 효율적으로 안전성을 강화할 수 있는 새로운 패러다임을 제시한다.