LLM과 프로 포커 플레이어의 격차: 게임이론적 추론과 도구 활용의 재조명

초록

본 논문은 LLM이 포커와 같은 불완전 정보 게임에서 전문 플레이어 수준의 전략과 추론을 구현하지 못함을 체계적으로 검증한다. LLM은 휴리스틱 의존, 사실 오해, 사고‑행동 불일치라는 세 가지 주요 결함을 보이며, 행동 복제와 단계별 강화학습만으로는 게임이론적 최적성을 확보하기 어렵다. 이를 극복하기 위해 외부 GTO 솔버와 연동하는 ToolPoker 프레임워크를 제안하고, 실험을 통해 기존 LLM 대비 게임 성과와 추론 일관성 모두에서 현저히 향상된 결과를 얻었다.

상세 분석

본 연구는 LLM을 포커 베팅 환경에 적용했을 때 나타나는 근본적인 한계를 세 가지 차원에서 정량·정성적으로 분석한다. 첫째, 휴리스틱 추론에서는 모델이 손패 강도나 포트 오즈와 같은 핵심 변수를 직접 계산하기보다 “강한 패는 베팅한다”, “약한 패는 폴드한다”와 같은 표면적 규칙에 의존한다는 점을 발견했다. 이는 Nash 균형을 목표로 하는 CFR+와 같은 알고리즘이 제공하는 전략적 일관성을 결여하게 만든다. 둘째, 사실 오해는 모델이 손패의 실제 승률을 오판하거나 상대의 레인지 추정을 잘못 해석함으로써 발생한다. 예를 들어 GPT‑4o가 (♠K, ♣10)을 약한 손으로 판단했지만, 실제 equity 계산에서는 60% 이상의 승률을 보이는 경우가 보고되었다. 셋째, 알고‑실행 격차는 모델이 논리적으로는 올바른 결론을 도출했음에도 불구하고 최종 행동에서 이를 따르지 않는 현상이다. Qwen2.5‑3B가 “♣3, ♥10은 약한 손이므로 폴드”라고 설명하면서도 실제로는 레이즈를 선택하는 사례가 대표적이다.

이러한 결함을 보완하기 위해 두 단계 학습(행동 복제 + 단계별 강화학습)을 시도했지만, 결과는 추론 스타일은 개선했으나 GTO 일관성을 확보하지 못했다. 핵심 원인은 LLM 자체가 복잡한 수학적 계산을 내재화하기 어렵고, 외부 도구 호출을 자연어 프롬프트 수준에서만 관리한다는 점이다. 따라서 저자들은 ToolPoker라는 도구 통합 추론 프레임워크를 설계했다. ToolPoker는 하나의 통합 API를 통해 액션 솔버, equity 계산기, 레인지 분석기 등 여러 포커 전용 도구를 한 번에 호출하도록 구성한다. 이를 위해 전문가 수준의 사고 과정을 모방한 소규모 데이터셋을 구축하고, 자동화된 템플릿 기반 도구 호출 결과를 라벨링해 학습에 활용한다.

실험 결과, ToolPoker는 Leduc Hold’em, Limit Texas Hold’em 등 세 가지 베팅 환경에서 기존 LLM 대비 평균 칩 이득을 30% 이상 향상시켰으며, 추론 평가 지표(휴리스틱 점수, 사실 정합성, 행동‑추론 일관성)에서도 전문가 수준에 근접한 점수를 기록했다. 특히 CFR+와 DeepCFR와 같은 게임이론 기반 알고리즘에 근접하거나 일부 상황에서는 능가하는 성능을 보이며, LLM이 단순 언어 모델을 넘어 실제 전략적 의사결정 도구로 활용될 가능성을 입증했다.