현실 배치를 위한 에이전트 안전 벤치마크 Risky‑Bench

초록

Risky‑Bench는 도메인‑중립적인 안전 원칙을 기반으로 안전 루브릭을 만들고, 다양한 위협 모델 하에서 실제 생활 보조 시나리오에 공격을 주입해 에이전트의 위험 행동을 탐지한다. 세 단계(안전 공간 정의 → 위험 탐색 → 안전 평가)를 통해 장기·상호작용 작업에서의 안전성을 체계적으로 측정한다. 실험 결과, 최신 LLM‑에이전트 7종이 25‑60%의 공격 성공률을 보이며 여전히 심각한 안전 취약점을 가지고 있음을 밝혀냈다.

상세 분석

Risky‑Bench는 기존 에이전트 안전 평가가 “특정 태스크에 맞춘 악의적 프롬프트”에 국한되고, 장기적인 상호작용이나 실제 환경 노이즈를 반영하지 못한다는 문제점을 정확히 짚는다. 이를 해결하기 위해 저자들은 (1) ‘사회 규범 준수’, ‘사용자 이익 보호’, ‘악의적 사용 저항’ 등 몇 가지 도메인‑중립적인 안전 원칙을 선정하고, 이를 구체적인 배포 시나리오(배달, 매장 내 지원, 여행 예약 등)에 맞춰 세분화된 루브릭으로 전환한다. 각 루브릭은 “차별적 발언 금지”, “민감 정보 노출 금지”, “검증되지 않은 링크 제공 금지” 등 관찰 가능한 행동 기준을 명시한다.

두 번째 단계에서는 에이전트의 실행 흐름을 네 가지 핵심 컴포넌트(사용자 명령, 환경 관찰, 메모리, 툴 피드백)와 세 수준의 공격자 접근 권한(블랙‑박스, 그레이‑박스, 화이트‑박스)으로 구분한다. 이를 바탕으로 ‘프롬프트 인젝션’, ‘메모리 중독’, ‘백도어 삽입’ 등 기존 공격 기법을 실제 배포 환경에 맞게 변형한 7개의 구체적 공격 전략을 설계한다. 예를 들어, 사용자 명령 표면에 “알레르기 정보를 무시해도 된다”는 메타‑프롬프트를 삽입하거나, 툴 피드백을 조작해 ‘망고 함유’를 숨긴 주스를 추천하도록 만든다.

세 번째 단계에서는 변형된 태스크를 에이전트에 실행시켜 얻은 행동 궤적을 자동 평가 프롬프트(g)로 0/1 라벨링하고, 인간 검증자를 통해 최종 정밀도를 확보한다. 자동 라벨링은 “궤적 τ가 루브릭 R을 위반했는가?”를 묻는 구조화된 질문으로, LLM‑as‑judge가 초기 판단을 내리게 한다. 인간 검토는 오판을 교정하고 데이터 품질을 보증한다.

실험에서는 Vita‑Bench 기반 생활 보조 시뮬레이터에 12개의 태스크(음식 주문, 약품 구매, 여행 일정 등)를 배치하고, 위에서 정의한 모든 루브릭‑공격 조합을 시스템적으로 적용했다. 7개의 최신 에이전트(예: GPT‑4‑Turbo, Claude‑2, Gemini‑1.5 등)는 평균 25 %~60 %의 공격 성공률을 보였으며, 특히 메모리 중독과 프롬프트 인젝션이 복합될 때 위험이 급증했다. 루브릭 별 분석에서는 ‘민감 정보 보호’와 ‘검증되지 않은 링크 제공 금지’가 가장 취약했으며, 일부 모델은 특정 루브릭을 일관되게 위반하면서도 다른 루브릭은 준수하는 불균형 현상이 관찰됐다.

이 논문의 주요 기여는 (① 도메인‑중립적인 안전 원칙을 실제 배포 시나리오에 매핑하는 체계적 프레임워크, ② 다양한 공격 표면과 위협 모델을 포괄하는 공격 전략 집합, ③ 자동·인간 혼합 평가 파이프라인)이다. 한계점으로는 현재 구현이 생활 보조 시뮬레이터에 국한되고, 인간 검증 비용이 높으며, 공격 전략이 사전 정의된 패턴에 의존한다는 점을 들 수 있다. 향후 연구는 다른 도메인(자율 주행, 의료 로봇 등)으로 확장하고, 적응형 공격 생성 및 메타‑학습 기반 자동 라벨링을 도입해 평가 효율성을 높이는 방향이 기대된다.