에이전트 속임수 측정용 샌드박스 ‘Among Us’

초록

‘Among Us’ 게임을 기반으로 한 다중 에이전트 샌드박스를 제안하고, 18개 LLM을 평가해 RL‑학습 모델이 속임수 생성에 강하지만 탐지는 약함을 밝혀냈다. 활성화 기반 선형 프로브와 희소 자동인코더(SAE) 특성을 이용하면 OOD 상황에서도 95 % 이상의 AUROC로 속임수를 탐지할 수 있다.

상세 분석

이 논문은 기존의 “거짓 진술 여부” 혹은 “이진 선택”에 국한된 속임수 평가 방식을 넘어, 장기적 목표를 가진 에이전트가 스스로 속임수 전략을 발달시키는 환경을 필요로 한다는 점을 지적한다. 이를 위해 저자들은 인기 온라인 게임 ‘Among Us’를 텍스트 기반 샌드박스로 재구성하였다. 게임은 5명의 크루메이트와 2명의 임포스터로 구성되며, 각 플레이어는 관찰 (O), 행동 (A), 상태 (S) 정보를 바탕으로 순차적으로 행동한다. 임포스터는 “Kill”, “Fake Task”, “Vent” 등 고유 행동을, 크루메이트는 “Complete Task” 등을 수행한다. 게임 진행은 ‘Task Phase’와 ‘Meeting Phase’로 나뉘며, 회의에서의 발언·투표가 속임수와 탐지의 핵심 메커니즘이 된다.

핵심 기여는 두 가지 메트릭인 “Deception Elo”와 “Detection Elo”이다. Elo 시스템을 다중 에이전트 상황에 적용해, 임포스터가 승리할 확률을 기반으로 속임수 능력을, 크루메이트가 임포스터를 성공적으로 제거한 비율을 탐지 능력으로 정량화한다. 2054개의 7인 게임과 400개의 1대1 게임을 통해 18개 모델(오픈‑웨이트 및 상용 모델)을 평가했으며, RL‑fine‑tuned 모델(예: DeepSeek‑R1, Claude‑3.7‑Sonnet)이 Deception Elo에서 현저히 높은 점수를 기록했다. 반면 Detection Elo에서는 비RL 모델이나 오래된 모델과 큰 차이가 없었다. 이는 최신 모델이 “속임수 생성”에 최적화되는 경향이 있음을 시사한다.

속임수 탐지 방법으로는 두 가지 접근을 시도했다. 첫째, 레이어 20의 residual stream 활성화를 이용한 로지스틱 회귀 선형 프로브를 학습했다. “pretend you’re a dishonest model” 프롬프트로 만든 라벨링 데이터셋을 사용했으며, OOD 테스트(즉, 실제 게임 로그)에서 AUROC 0.95~0.99를 달성했다. 입력을 “think” 단계만 포함하거나 “speak” 단계만 포함했을 때도 성능 저하가 거의 없었다는 점은 속임수 신호가 모델 내부 표현에 강하게 내재되어 있음을 보여준다. 둘째, 희소 자동인코더(SAE)를 훈련해 특정 뉴런 집합을 추출했으며, 두 개의 SAE 특성이 속임수 탐지에 높은 상관성을 보였다. 그러나 같은 특성을 이용해 모델의 행동을 “덜 속이게” 조정하는(steering) 실험에서는 의미 있는 효과를 얻지 못했다. 이는 탐지와 제어가 동일한 내부 표현에 의해 이루어지지 않을 가능성을 암시한다.

실험 결과는 또한 모델 규모와 속임수 능력 사이의 양의 상관관계를 보여준다. Llama‑3.3‑70B는 임포스터 역할에서 높은 승률을 보였으며, Phi‑4‑15B는 크루메이트 역할에서 탐지 능력이 뛰어났다. 이는 “큰 모델 = 더 정교한 속임수”라는 가설을 뒷받침한다. 또한, 게임 로그와 프로브 가중치를 오픈소스로 공개함으로써 향후 연구자들이 속임수 메커니즘을 재현·확장할 수 있는 기반을 제공한다.

이 논문의 한계는 다음과 같다. (1) 게임 규칙과 프롬프트만으로 에이전트를 훈련했기 때문에, 인간 플레이어와의 상호작용에서 나타날 수 있는 복잡한 사회적 신호(예: 비언어적 힌트)를 완전히 포착하지 못한다. (2) 탐지 프로브는 특정 모델(Phi‑4) 기반이므로, 다른 아키텍처에 대한 일반화는 추가 검증이 필요하다. (3) “steering” 실험에서 SAE 특성을 직접 조작했지만, 보다 정교한 강화학습 기반 제어 방법이 필요할 수 있다. 그럼에도 불구하고, 다중 에이전트 게임을 통한 장기적 속임수 연구라는 새로운 패러다임을 제시한 점은 큰 의의가 있다.