MAGIC: 공격자‑방어자 공동진화 게임으로 LLM 안전성을 강화하다

초록

MAGIC은 다중턴·다중에이전트 강화학습 프레임워크로, 공격자 에이전트가 원본 질의를 교묘히 변형해 LLM을 속이고, 방어자 에이전트는 이를 탐지·거부하도록 동시에 학습한다. 공격자는 초기 추론 능력을 갖춘 상태에서 반복적인 RL 훈련을 통해 새로운 조합적 공격 전략을 스스로 발견하고, 방어자는 이러한 끊임없는 적응에 맞춰 점진적으로 일반화된 방어 정책을 획득한다. 이 과정은 서브게임 완전 내시 균형(SPNE)을 목표로 하며, 실험 결과 기존 정적 레드팀 대비 방어 성공률이 크게 향상되면서도 모델의 유용성은 유지됨을 보여준다.

상세 분석

MAGIC 논문은 현재 LLM 안전 정렬이 “정적 데이터에 의존한다는” 근본적인 한계를 정확히 짚고, 이를 해결하기 위한 게임 이론적 접근을 제시한다. 핵심은 두 개의 비대칭 에이전트를 동시에 학습시키는 다중‑에이전트 강화학습(MARL) 구조이며, 이는 기존의 단일 모델 셀프플레이 방식이 초래하는 파라미터 충돌을 근본적으로 회피한다.

1. 문제 정의와 게임 모델링

   • 공격자(A)와 방어자(D)를 각각 정책 π_A, π_D로 정의하고, 공격자는 원본 질의 x를 받아 변형된 프롬프트 y_A를 생성한다. 방어자는 y_A를 관찰한 뒤 응답 y_D를 선택한다. 보상 r_A(y_A, y_D)와 r_D(y_A, y_D)로 각각의 목표를 설정한다.
   • 안전을 r_D ≥ 0, 위험을 r_D < 0 으로 정의하고, 순차 게임의 자연스러운 해법으로 서브게임 완전 내시 균형(SPNE)을 채택한다. SPNE는 각 서브게임(즉, 각 y_A)에서 방어자가 점별 최적 응답을 보장함을 의미한다. 논문은 “모든 y_A에 대해 안전한 회피 행동 y_ref가 존재한다면, SPNE 하에서 방어자는 언제든 안전한 응답을 선택한다”는 정리를 제시해 이론적 안전성을 확보한다.

2. 학습 알고리즘

   • 정확한 SPNE를 구하는 것이 고차원 행동 공간에서 불가능하므로, 저자는 이중 최적화 구조를 교대로 근사한다.
   • Phase 1 (공격자 초기화): 공격자는 고품질 체인‑오브‑씽크(CoT) 데이터가 부족한 문제를 해결하기 위해 ‘Attack Pool Benchmark’를 구축하고, Gemini‑2.5‑Pro 모델을 이용해 SFT(지도학습)으로 초기 정책을 학습한다. 이 단계는 공격자가 기본적인 추론·전략 생성 능력을 갖추게 한다.
   • Phase 2 (공동 진화): GRPO(Group Relative Policy Optimization)라는 변형 PPO 방식을 사용해 두 정책을 번갈아 업데이트한다. 방어자는 고정된 공격자를 대상으로 다수의 후보 응답을 샘플링하고, 그룹 평균을 베이스라인으로 삼아 안전 보상을 최대화한다. 공격자는 방어자의 최신 정책을 최적 응답 오라클로 가정하고, 방어자가 거부하지 않을 확률을 높이는 방향으로 보상을 설계한다. 이때 advantage는 그룹 표준편차로 정규화해 탐색 효율을 높인다.

3. 데이터와 실험 설계

   • ‘SorryBench’를 기반으로 20가지 언어 변형·역할극·CoT 재작성 전략을 포함한 440개의 시드 프롬프트를 수집하고, 각 프롬프트에 대해 다중턴 공격·방어 시뮬레이션을 수행한다.
   • 평가 지표는 (1) 방어 성공률(안전 응답 비율), (2) 모델 유용성(헬프풀니스) 유지 정도, (3) 공격 전략 다양성(새로운 조합적 패턴 탐지)이다.
   • 결과는 기존 Self‑RedTeam이나 GCG 기반 정적 레드팀 대비 방어 성공률이 12‑18%p 상승했으며, 특히 다중턴 시나리오에서 큰 격차를 보였다. 공격자는 학습 진행 중 “역할 전환‑추론‑숨은 의도 삽입” 등 이전에 보고되지 않은 복합 전략을 자동으로 생성했다.

4. 이론적·실용적 의의

   • SPNE 기반 설계는 방어자가 “점별 최적”을 학습하도록 강제함으로써, 기대값 기반 Nash equilibrium이 갖는 ‘일부 위험 상황에서만 안전’이라는 한계를 극복한다.
   • 공격자와 방어자를 완전히 분리된 파라미터 집합으로 학습함으로써, 양쪽 목표가 서로 직접적인 그래디언트 충돌을 일으키지 않는다. 이는 모델 규모가 커질수록 학습 안정성을 크게 향상시킨다.
   • 데이터 스케일링 문제를 ‘CoT‑enriched Attack Pool’으로 해결한 점은 향후 자동 레드팀 구축에 중요한 템플릿이 될 수 있다.

5. 제한점 및 향후 연구

   • 현재 실험은 주로 영어와 중국어 기반 모델에 국한돼 있어, 다언어·다문화 환경에서의 일반화 여부는 검증이 필요하다.
   • 공격자 정책이 지나치게 강력해지면 방어자 학습이 정체되는 ‘무한 경쟁’ 현상이 발생할 가능성이 있으며, 이를 완화하기 위한 메타‑레벨 규제(예: 공격 보상 상한) 연구가 요구된다.
   • SPNE 근사 과정이 여전히 샘플 효율성에 한계가 있어, 더 효율적인 베스트‑리스폰스 오라클(예: 모델 기반 트리 탐색)과 결합하면 학습 비용을 크게 절감할 수 있다.

전반적으로 MAGIC은 LLM 안전 정렬을 정적 데이터‑기반 패치에서 동적, 게임‑이론 기반 공동 진화 체계로 전환하는 중요한 시도이며, 이론적 안전 보장과 실험적 성능 향상을 동시에 달성한 점이 가장 큰 강점이다.