전략적 사고 측정, QRE로 LLM 평가 혁신

초록

본 논문은 대형 언어 모델(LLM)의 이론적 사고 능력을 정량화하기 위해 양자 반응 균형(QRE) 기반 게임 이론 프레임워크를 제시한다. 네 가지 전략 게임을 설계·분석하고, 인간 실험에서 얻은 λ(합리성) 구간(

상세 분석

이 연구는 LLM의 Theory of Mind(ToM) 능력을 ‘전략적 사고’라는 구체적 행동 지표로 전환한다는 점에서 혁신적이다. 먼저 저자는 네 가지 게임—Strategic Claim, Repeated Prisoner’s Dilemma, Say the Same Thing, Text‑Dixit—을 각각 재귀적 전략 추론, 관계 모델링, 공유 개념 기반, 그리고 에피스테믹 상태 모델링이라는 ToM의 핵심 축에 매핑한다. 각 게임에 대해 닫힌 형태의 근사 균형을 도출하고, 특히 Strategic Claim에서는 블러프 비율 β* = 0.340을 이론적 예측값으로 제시한다.

핵심 방법론은 로그-선형 양자 반응 균형(QRE)이다. λ 파라미터는 행동 선택 확률을 기대 효용에 지수적으로 가중함으로써 합리성 수준을 연속적으로 측정한다. 저자는 라운드별 행동을 독립적인 스테이지 게임으로 가정하고 최대우도 추정(MLE)과 베이지안 사후 추정을 병행한다. 인간 실험에서 보고된 λ ≈ 1.52.5와 비교해 LLM의 λ가 0.051.10 사이에 머무르는 점은 인간 수준에 비해 현저히 낮은 전략적 정교함을 시사한다.

통계적 보장은 마르티니게 수렴성(아즈마–호프딩) 불변량을 이용해 샘플 복잡도와 수렴 속도를 명시적으로 제시한다. 이는 기존 벤치마크가 제시하지 못한 ‘얼마나 많은 게임이 필요해 신뢰할 수 있는 λ를 얻을 수 있는가’에 대한 답을 제공한다.

실험 결과는 1,855번의 게임에서 블러프 비율이 10라운드 내에 93% 수렴하고, λ 추정값이 모델마다 크게 다르며, 특히 GPT‑4와 Claude‑2 사이에 λ 차이가 0.9에 달한다는 점을 보여준다. 또한 축간 상관분석에서 공감적(ESM) 능력과 적대적(RSM) 능력 간에 r = ‑0.95의 강한 음의 상관관계가 발견돼, LLM이 한 축을 강화하면 다른 축이 약화될 가능성을 제시한다.

마지막으로 프롬프트 프레이밍과 모델 버전 변화가 QRE 기반 순위에 큰 영향을 미치는 것으로 드러났다. 이는 평가 재현성을 위해 프롬프트 표준화와 버전 관리가 필수임을 강조한다. 전반적으로 이 논문은 LLM 평가에 게임 이론과 행동 경제학을 접목시켜, 전략적 사고를 정량화하고 신뢰성 있는 비교를 가능하게 하는 체계적 방법론을 제공한다.