다중턴·다국어 LLM 에이전트의 불법 지원 측정

초록

본 논문은 도구와 메모리를 활용하는 LLM 기반 에이전트가 다중 턴 대화와 다국어 환경에서 어떻게 악의적인 목적에 이용될 수 있는지를 평가하기 위해 STING이라는 자동 레드팀 프레임워크를 제안한다. STING은 공격 전략을 단계별로 분해하고, 공격자, 전략가, 거부 탐지기, 단계 완료 검사기로 구성된 네 개의 협업 에이전트를 이용해 목표 에이전트를 반복적으로 시험한다. 이를 통해 시간‑대‑첫 번째 탈옥(time‑to‑first‑jailbreak)이라는 확률 변수를 정의하고, Kaplan‑Meier 발견 곡선, 위험비(Hazard Ratio) 분석, 제한 평균 탈옥 발견(RMJD) 지표 등을 도입한다. 실험 결과, 기존 단일 프롬프트 기반 벤치마크보다 다중 턴 공격 성공률이 크게 상승했으며, 낮은 자원 언어가 반드시 탈옥 위험을 높이지 않는다는 새로운 통찰을 제공한다.

상세 분석

STING은 기존 에이전트 남용 평가가 단일 프롬프트에 국한된 한계를 극복하기 위해 네 개의 역할을 명확히 구분한다. 먼저 전략가(Strategist)는 악의적 의도를 표면적으로 무해한 페르소나와 단계별 목표(Phase)로 변환한다. 여기서 단계는 ‘요약 → 이미지 생성 → 애니메이션 → 게시’와 같이 구체적인 툴 호출을 요구하도록 설계된다. 공격자(Attacker)는 이러한 단계별 목표를 달성하기 위해 목표 에이전트와 다중 턴 대화를 진행하며, 매 턴마다 거부 탐지기(Refusal Detector)와 단계 완료 검사기(Phase‑Completion Checker)로부터 피드백을 받는다. 거부 탐지기는 명시적·암시적 거부를 식별하고 이유를 제시하며, 단계 완료 검사기는 툴 호출 결과가 현재 단계의 요구사항을 충족했는지를 판단한다. 이 피드백 루프는 공격자가 거부에 맞서 재시도하거나 전략을 조정하도록 유도한다는 점에서 기존 정적 프롬프트 공격과 근본적으로 다르다.

분석 프레임워크는 다중 턴 레드팀을 ‘시간‑대‑첫 번째 탈옥’ 확률 변수 S_H 로 모델링한다. S_H는 제한된 전략 수(S_max)와 턴 수(T_max) 내에서 최초 탈옥이 발생한 전략 인덱스를 의미한다. 이를 통해 생존 분석(survival analysis) 기법을 적용, Kaplan‑Meier 곡선으로 발견 함수 D(s)=1‑S_sur(s)를 도출한다. D(s)의 급격한 상승은 에이전트가 적은 시도만으로도 취약점을 드러낸다는 의미이며, 반대로 완만한 곡선은 방어가 견고함을 시사한다. 또한 제한 평균 탈옥 발견(RMJD)은 D(s) 곡선 아래 면적을 정량화해 “평균 몇 번째 전략에서 탈옥이 발견되는가”를 한 숫자로 요약한다. 위험비 분석에서는 언어를 공변량(x)으로 두고 Cox 비례 위험 모델을 적용해, 영어 대비 각 비영어 언어가 탈옥 위험을 얼마나 증감시키는지 β값을 추정한다. 실험에서는 영어를 기준으로 중국어·프랑스어·우크라이나어·힌디어·우르두·텔루구어에 대해 각각 다른 위험비를 보고했으며, 특히 낮은 자원 언어가 반드시 높은 위험비를 보이지 않는다는 점을 강조한다.

실험 설정은 Gemini 3 Pro를 전략 생성에, Qwen3‑Next‑80B‑A3B‑Instruct를 공격·판정 에이전트에 사용했다. 44개의 AgentHarm 시나리오를 4가지 변형(상세/비상세 × 툴명 힌트 유무)으로 총 176개 인스턴스를 7개 언어에서 테스트했다. 대상 에이전트로는 Qwen3‑Next, GPT‑5.1, Gemini 3 Flash, Claude Sonnet 4.5를 포함했으며, 각 모델에 대해 전략당 최대 10턴, 전체 전략당 최대 100개 시도를 제한했다. 결과는 단일 프롬프트 기반 베이스라인 대비 평균 107.1% 높은 탈옥 성공률을 기록했으며, 다중 턴 공격이 특히 툴 호출을 요구하는 복합 작업에서 큰 차이를 만든다. 다국어 실험에서는 영어와 비교해 일부 언어(예: 중국어)에서 약간 높은 위험비를 보였지만, 힌디어·우르두·텔루구와 같은 저자원 언어는 오히려 위험비가 낮아 기존 챗봇 연구와 상반된 결과를 제시한다. 방어 실험에서는 간단한 거부 감지와 단계 검증을 추가했을 때, 악의적 작업 수행률이 크게 감소했지만, 정상적인 툴 사용 효율성도 일정 부분 손실되는 트레이드오프가 존재함을 확인했다.

이러한 결과는 LLM 에이전트의 안전성을 평가할 때 다중 턴·다국어 맥락을 반드시 포함해야 함을 시사한다. STING은 자동화된 공격 전략 생성, 단계별 피드백 루프, 그리고 통계적 효율성 측정까지 포괄하는 프레임워크로, 향후 방어 메커니즘 개발 및 정책 입안에 실용적인 벤치마크가 될 수 있다.