정렬을 깨뜨려라: 메타 최적화된 LLM 심판으로 자동 탈옥 구현

초록

AMIS는 바이레벨 메타 최적화 프레임워크로, 내부 루프에서 고밀도 점수 템플릿을 이용해 탈옥 프롬프트를 점진적으로 개선하고, 외부 루프에서 ASR 정렬 점수를 기반으로 점수 템플릿 자체를 진화시켜 보다 정확한 피드백을 제공한다. AdvBench와 JBB‑Behaviors에서 Claude‑3.5‑Haiku(88 %)와 Claude‑4‑Sonnet(100 %)의 공격 성공률을 달성하며 기존 방법들을 크게 앞선다.

상세 분석

본 논문은 대형 언어 모델(LLM)의 안전성을 평가하고 강화하기 위한 탈옥(jailbreak) 공격 생성 방법을 메타 최적화(meta‑optimization) 관점에서 재구성한다. 기존 최적화 기반 탈옥 기법은 주로 이진 공격 성공률(ASR)이라는 희소한 신호에 의존하거나, 사람이 설계한 고정 점수 템플릿에 의존해 프롬프트를 개선한다. 이러한 접근은 피드백이 과도하게 거칠어 최적화 효율을 저해하고, 인간 편향이 스코어링에 반영될 위험이 있다. AMIS는 이러한 한계를 극복하기 위해 두 단계의 바이레벨 구조를 도입한다.

첫 번째, 내부 루프(query‑level)에서는 고정된 점수 템플릿 π_sc 가 1‑10 연속 점수를 부여한다. 이 점수는 “harmful (1‑4)”, “subtle guidance (5‑7)”, “explicit instruction (8‑10)” 등으로 구분된 세분화된 스케일을 사용해, 공격 프롬프트가 얼마나 안전 필터를 우회했는지를 정량적으로 평가한다. 이러한 연속 점수는 이진 ASR보다 훨씬 풍부한 그라디언트를 제공해 LLM 기반 공격 생성기(Attacker)가 프롬프트를 반복적으로 개선하도록 만든다. 구체적으로, 초기에는 사전 정의된 프리픽스 집합 P 를 활용해 q′ = p ⊕ q 형태의 후보 프롬프트를 만든 뒤, 목표 모델(Target)에서 응답 r′을 얻고, 심판(Judge) 모델이 π_sc에 따라 점수를 매긴다. 상위 K 개의 프롬프트를 보존하고, L 번의 반복을 통해 새로운 후보 M 개를 생성·평가·선택한다.

두 번째, 외부 루프(dataset‑level)에서는 점수 템플릿 자체를 최적화한다. 내부 루프에서 수집된 <프롬프트, 응답, 점수> 삼중항을 전체 데이터셋 D 에 걸쳐 집계하고, 각 삼중항에 대해 이진 ASR 라벨 y (π_ASR) 을 별도 평가한다. 이후 정렬 점수 α_i = 100·(1 − |s_i − s*(y_i)|/Δ) 를 정의해, 현재 점수가 실제 성공/실패와 얼마나 일치하는지를 0‑100 사이의 연속값으로 변환한다. 여기서 s*(0)=s_min, s*(1)=s_max이며, Δ는 점수 범위이다. 전체 정렬 점수 Align(π_sc) 는 모든 α_i의 평균으로 계산된다. 정렬 점수가 높은 템플릿은 실제 ASR과 높은 상관관계를 가지므로, 이를 목표 함수로 삼아 템플릿 파라미터(프롬프트 구조, 가중치, 스케일링 등)를 업데이트한다. 템플릿 업데이트는 프롬프트 생성기와 독립적으로 수행되며, 매 외부 루프마다 새로운 π_sc 가 내부 루프에 투입되어 보다 정밀한 피드백을 제공한다.

실험에서는 AdvBench와 JBB‑Behaviors 두 벤치마크에 대해 5개의 목표 LLM(Claude‑3.5‑Haiku, Claude‑4‑Sonnet, GPT‑4‑Turbo 등)을 검증하였다. AMIS는 기존 최첨단 방법(PAIR, TAP, AutoDAN‑Turbo 등)에 비해 평균 ASR을 70.5 %p 이상 끌어올렸으며, 특히 Claude‑4‑Sonnet에서는 100 % 성공률을 기록했다. Ablation study는 외부 루프가 없을 경우 내부 루프만 사용했을 때보다 ASR이 현저히 낮아짐을 보여, 템플릿 진화가 핵심 기여임을 입증한다. 또한, 강력한 LLM에서 최적화된 프롬프트를 다른 모델에 전이했을 때도 높은 성공률을 유지해, 프롬프트가 특정 모델에 과도하게 오버피팅되지 않았음을 확인했다.

한계점으로는 (1) 현재 템플릿 파라미터가 주로 프롬프트 형태와 스코어링 규칙에 국한돼 있어, 더 복잡한 메타‑학습 구조가 필요할 수 있다. (2) 외부 루프에서 사용되는 ASR 라벨이 여전히 심판 모델에 의존하므로, 심판 자체의 편향이 전체 시스템에 전이될 위험이 있다. (3) 실험은 주로 영어 기반 모델에 초점을 맞추었으며, 다국어·다문화 환경에서의 일반화는 추가 검증이 요구된다.

향후 연구 방향은 (i) 템플릿 파라미터를 신경망 기반 메타‑학습기로 확장해 자동 미분 가능하게 만들고, (ii) 인간 피드백을 혼합한 하이브리드 정렬 점수를 도입해 심판 편향을 보정하며, (iii) 탈옥 방어 메커니즘을 공동 최적화하는 적대적 훈련 프레임워크를 설계하는 것이다. 궁극적으로 AMIS는 LLM 안전성 평가와 방어 체계 설계에 있어 “평가 자체를 진화시키는” 새로운 패러다임을 제시한다.