언어 기반 경제 게임을 위한 통합 프레임워크 GLEE와 벤치마크

초록

GLEE는 두 명이 순차적으로 대화하는 경제 게임(협상·협상·설득)을 표준화하고, 파라미터화된 환경·효율·공정성 지표를 제공한다. 오픈소스 시뮬레이터와 80 000개 이상의 게임·13종 LLM·인간 대결 데이터를 구축해 LLM의 합리성, 자기 이익, 사회적 결과를 정량적으로 비교한다. 실험 결과 시장 파라미터와 모델 선택이 복합적으로 작용해 효율·공정성에 큰 영향을 미치며, 인간은 역할에 따라 LLM을 완전히 앞서거나 뒤처진다.

상세 분석

본 논문은 최근 LLM이 경제·전략적 상호작용에서 보이는 잠재력을 체계적으로 검증하기 위해 “GLEE (Games in Language‑based Economic Environments)”라는 통합 프레임워크와 벤치마크를 제안한다. 핵심 기여는 세 가지 전통적 경제 게임(협상, 협상, 설득)을 자연어 기반 순차 게임으로 재구성하고, 각 게임을 게임 수평선, 정보 구조, 커뮤니케이션 형태 등 다차원 파라미터로 정의함으로써 연구자들이 동일한 실험 설계를 공유할 수 있게 만든 점이다.

1. 게임 파라미터화

   • 게임 수평선: 라운드 수를 조절해 장기적 전략과 단기적 타협 사이의 트레이드오프를 탐색한다.
   • 정보 구조: 완전 정보·불완전 정보·비대칭 정보 등으로 설정해 상대방 선호나 가치에 대한 사전 지식 유무를 조절한다.
   • 커뮤니케이션 형태: 자유 텍스트 vs. 구조화된 메시지(예: 제안 금액만)로 구분해 언어 표현이 전략에 미치는 영향을 정량화한다.

2. 평가 지표

   • Self‑gain: 각 에이전트가 획득한 절대적 보상(경제적 이득).
   • Efficiency: 파레토 효율성 혹은 전체 파이(총합 보상) 관점에서 게임 결과가 최적에 얼마나 근접했는가.
   • Fairness: 샤프레 비율, 균등성 지표 등으로 양측 보상의 분배가 얼마나 공정한지를 측정한다.

3. 시스템 구현

   • 파이썬 기반 오픈소스 코드베이스를 제공, 게임 로직, 대화 로그, 메트릭 계산을 모듈화하였다.
   • LLM 호출은 API 래퍼를 통해 추상화했으며, 프롬프트 설계(역할 지정, 행동‑메시지 포맷)와 온도·토큰 제한 등 하이퍼파라미터를 실험 변수로 포함한다.

4. 데이터 수집

   • 13종 LLM(예: GPT‑4, Claude‑2, Llama 2‑70B 등)으로 587 K개의 의사결정을 기록, 80 K개 이상의 게임 인스턴스를 확보했다.
   • 인간 참가자와 LLM 간 대결을 위한 웹 인터페이스를 구축, 인간‑LLM 매칭 데이터를 별도 수집했다.

5. 실험 결과 및 인사이트

   • 시장 파라미터 의존성: 정보 비대칭이 심할수록 효율이 급격히 감소하고, 커뮤니케이션이 자유 텍스트일 때는 설득력 있는 프레이밍이 효율을 회복시키는 경우가 관찰되었다.
   • 모델 상호의존성: 특정 LLM이 다른 모델에 대해 우수한 성능을 보이지만, 동일 모델 간 대결에서는 성능 차이가 축소된다. 즉, “상대 모델”이 성능을 크게 좌우한다는 점에서 게임 이론적 ‘상대적 전략’과 유사한 현상이 나타난다.
   • 인간 vs. LLM: 인간은 역할(협상가·판매자 등)에 따라 극단적인 행동을 보이며, 때로는 LLM을 압도하지만 반대로 LLM이 인간보다 일관된 협상 전략을 유지해 전체 효율을 높이는 경우도 있다. 이는 인간의 감정·리스크 회피가 결과에 큰 변동성을 초래한다는 점을 시사한다.
   • 언어 프레이밍 효과: 동일한 수치 제안이라도 문맥·이유 제시 방식에 따라 상대방의 수용 확률이 크게 달라졌다. 이는 전통적 게임 이론이 가정하는 ‘무언어’ 상황과 달리, 자연어가 전략적 신호 역할을 수행함을 실증한다.

6. 한계와 향후 과제

   • 현재는 두 명 플레이어에 국한돼 있어 다자 상호작용(예: 경매, 시장 메커니즘) 확장이 필요하다.
   • LLM의 ‘내재적 편향’이 설득·협상 과정에 미치는 영향을 정량화하려면 더 정교한 인간 피드백 루프가 요구된다.
   • 실시간 상호작용 지연·API 비용 등 실험 재현성에 영향을 주는 외부 요인을 표준화하는 방안이 필요하다.

전반적으로 GLEE는 LLM 기반 에이전트의 경제적 합리성·전략성을 평가할 수 있는 가장 포괄적인 인프라를 제공한다. 파라미터화된 게임 설계와 인간‑LLM 비교 데이터를 통해 연구자는 “언어가 전략에 미치는 구체적 메커니즘”을 정량적으로 탐구할 수 있다. 이는 향후 LLM을 실제 전자상거래·추천 시스템·협상 자동화 등에 적용할 때, 정책 설계·규제·공정성 보장을 위한 과학적 근거를 마련하는 데 중요한 발판이 될 것이다.