이질적 다중에이전트 시스템을 위한 은밀한 메모리 변조: 이중 최적화 기반 XAMT

초록

본 논문은 중앙 집중형 메모리(경험 재생 버퍼와 RAG 지식 베이스)를 목표로, 최소 교란으로 목표 행동을 강제하는 은밀한 데이터 포이즈닝을 이중 최적화(bilevel optimization) 형태로 공식화한다. CTDE MARL과 RAG 기반 LLM 에이전트 두 도메인에 적용 가능한 XAMT 프레임워크를 제안하고, 1% 이하(또는 0.1% 이하)의 포이즈닝 비율에서도 높은 공격 성공률과 낮은 탐지율을 실험적으로 입증한다.

상세 분석

XAMT는 공격자를 상위 최적화 문제에, 피해자의 학습 과정을 하위 최적화 문제에 매핑함으로써 “최소 교란·최대 파괴”라는 이중 목표를 동시에 만족한다. 상위 레벨에서는 ‖δ‖ₚ (수치 데이터) 혹은 D_sem (텍스트 데이터)와 같은 은폐 제약 R(δ)를 최소화하면서, 하위 레벨에서 도출된 최적 파라미터 θ⁎(δ)를 이용해 목표 손실 L_A(θ⁎)을 최대화한다. 이 구조는 기존 포이즈닝이 대규모 라벨 교체나 보상 변조에 의존하던 점을 탈피하고, 정규화된 작은 변동만으로도 중앙 비평가(CTDE) 혹은 외부 지식 베이스에 큰 영향을 미칠 수 있음을 보인다.

수학적 구현에서는 MARL의 경우 경험 재생 버퍼 D에 삽입되는 트랜지션 (s,a,r,s′)을 δ_RL로 표기하고, L_p 노름을 통해 물리적 변형량을 제한한다. 하위 레벨은 QMIX·MAPPO 등 CTDE 알고리즘의 정책·가치 업데이트를 시뮬레이션해 θ⁎(δ_RL)를 얻으며, 목표 정책 T와의 KL·정책 거리 혹은 승률 감소를 목표 손실로 정의한다.

RAG 기반 LLM에서는 지식 베이스 K에 삽입되는 문서 집합을 δ_RAG로 두고, 의미적 거리 D_sem을 BERT‑Sentence‑Embedding 혹은 CLIP‑style 임베딩 기반 코사인 거리로 측정한다. 하위 레벨은 Retrieval‑Augmented Generation 파이프라인(문서 인덱싱 → 검색 → 프롬프트 결합 → LLM 응답) 전체를 미분 가능하게 구현해, 포이즈닝 후의 응답 Ŷ와 목표 응답 Y_T 사이의 교차 엔트로피 손실을 L_A로 설정한다.

실험에서는 SMAC(StarCraft Multi‑Agent Challenge)와 SafeRAG 벤치마크를 활용해, ρ≤1% (MARL) 및 ρ≤0.1% (RAG) 수준에서 각각 40% 이상의 유틸리티 감소와 90% 이상의 공격 성공률(ASR)을 달성했다. 특히, MARL에서는 ‖δ_RL‖_∞<0.05, ‖δ_RL‖2<0.1이라는 엄격한 L∞·L_2 제한을 만족했으며, RAG에서는 D_sem<0.15 및 퍼플렉시티 증가 ≤10% 수준으로 탐지 회피에 성공했다.

XAMT의 핵심 기여는 (1) 이질적 메모리 구조를 하나의 이중 최적화 프레임워크로 통합, (2) 은폐 제약을 정량화한 일반화된 R(δ) 정의, (3) 두 도메인에 대한 구체적 수식 및 알고리즘 제공, (4) 실증적 평가를 통해 기존 포이즈닝 대비 훨씬 낮은 교란으로 높은 파괴력을 입증한 점이다. 한계로는 현재 정적·오프라인 포이즈닝에 국한되며, 실시간 적응형 방어나 다중 목표(멀티‑트리거) 공격에 대한 확장은 추후 연구 과제로 남는다.