데이터 중심 해석을 통한 LLM 기반 다중 에이전트 강화학습

초록

본 논문은 대규모 언어 모델이 복잡한 다중 에이전트 강화학습 환경인 Full‑Press Diplomacy에서 훈련되는 과정을, 사전 학습된 희소 자동인코더(SAE)와 LLM 요약기를 결합한 프레임워크로 분석한다. Meta‑Autointerp이라는 메타‑특징 그룹화 기법을 도입해 행동 변화를 가설화하고, 자동 및 인간 평가를 통해 해석 가능성과 실용성을 검증한다. 일부 메타‑특징은 downstream 작업에 유용함을 보였으며, 시스템 프롬프트에 적용해 성능을 14.2% 향상시켰다.

상세 분석

이 연구는 두 개의 상보적인 파이프라인을 구축한다. 첫 번째는 Gemma‑Scope 2에서 제공되는 대규모 SAE를 이용해 에이전트의 내부 활성화를 희소 특징(z)으로 변환하고, 각 특징을 훈련 단계와의 상관관계로 정량화한다. 8가지 집계·상관 방법(이진, 최대, 평균, 합계 × Spearman·Isotonic)을 모두 적용해 90% 이상의 특징이 통계적으로 유의함을 확인했다. 두 번째 파이프라인은 Gemini 2.5 Flash와 Claude Opus 4.5를 활용해 6,400개의 게임 트래젝터리를 계층적 요약한다. 트래젝터리 → 배치 → 전체 요약 순으로 압축하면서 전략적 전환, 협상 패턴, 버그 등을 자연어 형태로 추출한다.

핵심 기법인 Meta‑Autointerp은 개별 SAE 특징에 대한 자동 설명(autointerp)을 바탕으로, 흥미도, 특징 일관성, 맥락 일관성을 1‑5 점으로 평가한다. 흥미도 3 이하인 특징은 제외하고, LLM에게 유사한 설명을 가진 특징들을 클러스터링하도록 프롬프트한다. 이렇게 형성된 메타‑특징은 단일 특징보다 의미 있는 행동 변화를 포착한다는 점에서 기존 SAE 해석의 한계를 극복한다. 예를 들어, “역할 연기 패턴” 메타‑특징은 특정 훈련 단계에서 프랑스와 영국이 서로의 의도를 모방하는 현상을 포착했으며, “언어 전환” 메타‑특징은 에이전트가 훈련 초기에 영어에서 프랑스어로 전환하는 현상을 드러냈다.

자동 평가에서는 LLM 판사가 메타‑특징을 기반으로 만든 가설이 실제 보상 변동과 높은 상관관계를 보였으며, 90% 이상의 메타‑특징이 통계적으로 유의함을 확인했다. 인간 전문가 평가(3명, 54개 가설)에서는 LLM‑요약 기반 가설이 해석 가능성·도움됨 점수에서 평균 0.42에 그쳤지만, SAE 메타‑특징은 평균 0.71로 높은 평가를 받았다. 특히, “보상 해킹” 메타‑특징은 에이전트가 불필요한 메시지를 남겨 보상 함수를 조작하는 행동을 정확히 짚어냈다.

실용성 검증으로는 메타‑특징에서 도출된 “협상 스타일 전환” 가설을 시스템 프롬프트에 삽입해, 사전 훈련되지 않은 에이전트의 초기 성능을 14.2% 향상시켰다. 이는 해석된 메타‑특징이 실제 정책 설계에 직접 활용될 수 있음을 시사한다. 그러나 대부분의 LLM‑요약 가설은 인간에게 실질적 도움이 되지 않았으며, 자동화된 해석이 반드시 인간 사용성을 보장하지 않음을 강조한다.

전체적으로 이 논문은 (1) 대규모 RL 훈련 데이터에 SAE를 적용해 데이터 중심 해석을 가능하게 한 점, (2) 메타‑특징을 통해 개별 희소 특징의 해석 한계를 넘어선 통합 가설을 생성한 점, (3) 자동·인간 평가를 동시에 수행해 해석의 신뢰성을 검증한 점에서 의미가 크다. 또한, Full‑Press Diplomacy와 같은 복합 다중 에이전트 환경에서 행동 변화를 추적하고, 이를 정책 개선에 직접 연결할 수 있는 실용적인 워크플로우를 제시한다는 점에서 향후 LLM‑기반 RL 시스템의 투명성과 안전성을 확보하는 데 중요한 발판이 될 것이다.