인간과 LLM의 전략적 행동 차이 탐구

초록

본 논문은 반복적인 가위바위보 게임을 통해 인간과 최신 대형 언어 모델(LLM)의 전략적 행동을 비교한다. AlphaEvolve이라는 프로그램 자동 발견 도구를 이용해 양측의 행동 데이터를 해석 가능한 모델로 추출하고, 인간보다 LLM이 더 정교한 상대 모델링과 반사실적(카운터팩추얼) 학습을 수행함을 밝혀냈다. 결과는 LLM이 인간보다 높은 승률과 복잡한 전략을 구사한다는 점을 실증한다.

상세 분석

이 연구는 행동 게임 이론(BGT)의 전통적 한계를 넘어, 인간과 비인간(LLM) 에이전트의 행동을 동일한 분석 프레임워크로 비교한다는 점에서 혁신적이다. 핵심 방법론은 AlphaEvolve이라는 진화 기반 프로그램 탐색 시스템을 활용해, 주어진 행동 데이터셋에 최적화된 심볼릭 모델을 자동으로 생성하는 것이다. AlphaEvolve은 LLM을 ‘프로그램 생성기’로 사용해, 기존 인간 중심의 가설식 모델 대신 데이터에 직접 맞는 규칙 집합을 도출한다.

논문은 두 단계로 모델을 평가한다. 첫째, 교차 검증된 정규화 가능도(Normalized Likelihood)를 통해 예측 정확도를 측정한다. 둘째, Halstead effort를 이용해 모델의 해석 가능성을 정량화한다. 이 다목적 최적화는 예측 성능과 코드 복잡도 사이의 파레토 프론티어를 형성하도록 설계돼, 과적합을 방지하면서도 인간이 이해할 수 있는 수준의 모델을 확보한다.

실험에 사용된 데이터는 인간 411명(총 129,087 선택)과 네 종류의 최신 LLM(Gemini 2.5 Pro, Gemini 2.5 Flash, GPT‑5.1, 오픈소스 GPT‑OSS 120B)으로 구성된 90,000개의 선택이다. 모든 참가자는 15개의 사전 정의된 봇(비적응형·적응형)과 300라운드씩 대전했으며, 보상 구조는 승리 +3, 무승부 0, 패배 –1로 동일하게 설정했다.

AlphaEvolve이 발견한 인간 모델은 기본적인 가치 기반 학습과 간단한 상대 모델링(이전 선택 빈도에 기반)만을 포함한다. 반면, Gemini 2.5 Pro 모델은 (1) 상대의 최근 행동을 추정하는 복합적인 베이즈식 상대 모델, (2) 선택되지 않은 행동에 대한 카운터팩추얼 보상을 이용한 비대칭 학습률 적용, (3) 동적 온도 조절을 통한 탐색‑활용 균형을 동시에 구현한다. 이러한 차이는 LLM이 인간보다 더 빠르게 상대의 전략을 파악하고, 예상되지 않은 상황에서도 적절히 대응할 수 있음을 시사한다.

성능 면에서 LLM은 인간 대비 평균 승률이 8~12%p 상승했으며, 특히 적응형 봇에 대해서는 인간이 거의 0에 가까운 승률을 보이는 반면, LLM은 30% 이상을 유지했다. 이는 LLM이 상대의 패턴을 더 정밀히 모델링하고, 카운터팩추얼 정보를 활용해 가치 업데이트를 수행함으로써 얻은 이점이다.

한계점으로는 (1) AlphaEvolve이 생성한 프로그램이 실제 인지 메커니즘을 정확히 반영한다는 보장이 없으며, (2) LLM의 프롬프트 설계와 토큰 제한이 모델 학습에 영향을 미칠 수 있다는 점, (3) 실험이 가위바위보라는 제한된 도메인에 국한돼 일반화 가능성이 제한적이라는 점을 들 수 있다. 향후 연구에서는 더 복잡한 다중 단계 게임, 인간‑LLM 혼합 상호작용, 그리고 모델 해석을 위한 신경과학적 검증을 포함할 필요가 있다.