미니 마피아: 대형 언어 모델의 사회적 추론과 전략 분석

초록

본 논문은 4인용 마피아 변형인 ‘미니 마피아’를 도입해 LLM의 속임, 탐지, 정보 공개 능력을 정량화한다. 게임 결과를 logit(p)=v·(m−d) 라는 간단한 로짓 모델로 설명하고, 베이지안 추론으로 각 모델의 속임(m), 탐지(d), 감도(v) 파라미터를 추정한다. 실험 결과, 모델 규모와 성능이 일치하지 않으며, 작은 모델이 특정 역할에서 큰 모델을 능가한다. 인간은 탐지에서 우수하지만, 설득력에서는 LLM이 앞선다. 이름 편향·마지막 발언 이점 등 다중 에이전트 현상도 관찰된다.

상세 분석

이 연구는 사회적 추론을 평가하기 위한 새로운 벤치마크인 ‘미니 마피아’를 제안한다. 기존 마피아 게임은 복잡한 역할 전환과 다중 라운드로 인해 변수 통제가 어렵지만, 저자는 마피아가 밤에 무작위 주민을 살해하고, 탐정이 마피아를 정확히 조사하도록 고정함으로써 게임을 하루 토론·투표 단계만 남도록 단순화하였다. 이렇게 하면 세 역할(마피아, 탐정, 주민) 사이의 정보 비대칭이 명확히 정의되고, 각각의 역할이 요구하는 핵심 능력—속임(deception), 탐지(detection), 공개(disclosure)—을 독립적으로 측정할 수 있다.

핵심 이론 모델은 logit(p_{ijk}) = v_k·(m_i − d_j) 이라는 형태를 갖는다. 여기서 p_{ijk}는 모델 i가 마피아, 모델 j가 탐정, 모델 k가 주민일 때 마피아 승리 확률이다. m_i는 마피아 역할에서의 속임 능력, d_j는 탐정 역할에서의 정보 공개 능력, v_k는 주민이 속임‑공개 격차에 민감하게 반응하는 정도를 나타낸다. 이 식은 물리학의 페르미-디랙 분포와 수학적 유사성을 지니며, 에너지 차이(m−d)가 승률을 결정하고, ‘온도’에 해당하는 v가 그 민감도를 조절한다는 해석을 가능하게 한다.

베이지안 추론은 약한 정규 사전(N(0,2))을 두고, 14,000개의 게임 결과(각 조합 100번씩)로부터 3I(=30)개의 잠재 파라미터를 추정한다. NUTS 샘플러를 이용한 MCMC는 수렴 지표(Ȓ≈1.01)와 충분한 ESS를 보이며, 파라미터는 평균 0, 평균 1(감도)으로 정규화된다. 또한, 백그라운드 기반 방법과의 교차 검증을 통해 모델의 타당성을 확인하였다.

실험 결과는 몇 가지 놀라운 패턴을 드러낸다. 첫째, 모델 간 전문화가 뚜렷해 한 모델이 모든 역할에서 최고가 아니다. 예를 들어, Grok‑3 Mini는 주민 역할에서 가장 높은 v를 보였고, GPT‑5 Mini는 탐정 역할에서 최고의 d를 기록했다. 반면, Claude Sonnet 4는 주민 역할에서 최하위 성능을 보이며, Llama 3.1 8B Instruct가 이를 앞섰다. 둘째, 모델 규모와 성능 사이에 일관된 양의 상관관계가 없으며, 작은 모델이 특정 역할에서 큰 모델을 능가한다는 ‘역규모 효과’가 관찰된다.

인간 실험(80게임)에서는 탐지 능력에서 인간이 모든 LLM을 앞섰으며, 속임·공개에서는 LLM이 인간 수준에 근접하거나 약간 앞서는 결과를 보였다. 이는 LLM이 설득력 있는 언어 생성에는 강하지만, 전략적 추론·정보 통합에는 아직 한계가 있음을 시사한다.

추가 분석에서는 이름 편향과 마지막 발언 이점이 확인되었다. 동일한 이름(예: Bob vs. Diana)으로 역할을 할당했을 때, Bob이 마피아일 확률이 2.20 %p 정도 높았으며, 마지막으로 발언한 탐정이 투표 결과에 7.10 %p 정도 유리한 영향을 미쳤다. 이러한 현상은 다중 에이전트 상호작용에서 인간과 유사한 사회적 편향이 LLM에도 나타날 수 있음을 보여준다.

마지막으로, 저자는 미니 마피아가 AI 안전 연구에 기여할 수 있음을 강조한다. 속임 행동 데이터를 활용해 ‘속임 탐지기’를 훈련하고, 다중 에이전트 환경에서의 비윤리적 행동을 사전에 탐지·제어하는 데 활용 가능하다. 전체적으로 이 논문은 복잡한 사회적 상호작용을 간결한 수학적 모델로 정량화하고, LLM의 다중 역할 능력을 체계적으로 비교·평가하는 새로운 방법론을 제공한다.