게임오브생각: 대형 언어 모델의 최악 상황 정보 탐색을 위한 게임 이론 접근

초록

본 논문은 20문제 게임을 기반으로 LLM이 부족한 정보를 능동적으로 탐색하도록 설계한 ‘Strategic Language Search(SLS)’ 문제를 정의하고, 이를 두 명의 제로섬 게임으로 모델링한다. 제한된 질문 집합에서 최악의 경우 비용을 최소화하는 Nash equilibrium을 근사하는 ‘Game of Thought(GoT)’ 프레임워크를 제안하며, 실험을 통해 기존 프롬프트 기반 및 Uncertainty of Thought(UoT) 방식보다 최악 상황 성능이 일관되게 향상됨을 입증한다.

상세 분석

이 논문은 LLM이 실제 고위험 환경에서 정보가 부족한 상황에 직면했을 때, 질문을 통해 정보를 획득하는 과정을 정형화한다. 기존 연구들은 주로 아이템이 균등하게 선택된다는 가정 하에 기대 정보 이득을 최대화하는 휴리스틱을 사용했지만, 실제 응용에서는 적대적 혹은 비균등 분포가 더 현실적이다. 저자는 이를 ‘Strategic Language Search(SLS)’라는 적대적 게임 형태로 재구성한다. SLS는 아이템 집합 S와 이진 질문 집합 Q, 그리고 답변 함수 f를 정의하고, 아이템 선택자(Item Chooser)가 처음에 비밀 아이템 s를 고른 뒤, 질문자(Questioner)가 순차적으로 질문을 던져 답을 얻어가며 s를 정확히 식별할 때까지 진행된다. 비용은 질문 횟수 |H|이며, 질문자는 최악의 경우에도 비용을 최소화하는 전략을 찾아야 한다.

핵심 이론적 기여는 다음과 같다. 첫째, SLS를 불완전 정보가 있는 두 플레이어 제로섬 확장형 게임(EFG)으로 표현함으로써 Nash equilibrium이 최적 전략임을 보였다. 둘째, Q가 무한히 큰 경우에도 ‘even‑split’ 전략이 최적임을 증명하고, 일반적인 유한 Q에 대해서는 질문 선택 문제가 NP‑complete임을 제시해 최적 해 탐색이 계산적으로 어려움을 강조한다. 셋째, 실제 대규모 아이템 집합에 적용하기 위해 질문 집합을 현재 남은 아이템 S(H)에 따라 동적으로 생성하는 제한형 변형(SLSR)과, 아이템별 가중치를 부여해 중요 아이템에 더 큰 비용을 부과하는 가중치형 변형(WSLS, WSLSR)을 정의한다.

알고리즘적 측면에서는 ‘Game of Thought(GoT)’를 제안한다. GoT는 SLSR에서 질문자 전략을 근사 Nash equilibrium으로 찾기 위해 Counterfactual Regret Minimization(CFR)과 같은 반복적 regret‑minimization 기법을 활용한다. LLM은 질문 생성기(g)와 답변 오라클(f) 역할을 수행하도록 설계되었으며, 실험에서는 GPT‑4 기반 모델을 사용해 f와 g를 구현한다. 중요한 가정으로는 LLM이 f를 완벽히 구현한다는 전제와, 질문 생성 시 일정한 시간 복잡도로 f에 접근할 수 있다는 점을 들었다.

실험에서는 20문제 게임을 변형한 여러 시나리오(아이템 수 864, 질문 제한 m=13, 가중치 설정 등)에서 GoT와 기존 방법(직접 프롬프트, Self‑Consistency, Tree of Thought, Uncertainty of Thought)을 비교했다. 결과는 특히 아이템이 적대적으로 선택될 때, GoT가 평균 질문 수와 최악 경우 질문 수 모두에서 15%~30% 정도 개선을 보였으며, 가중치형 실험에서도 고가중치 아이템에 대한 비용을 크게 낮추었다. 또한, GoT는 질문 전략이 무작위화된 Nash equilibrium에 근접함을 보여, deterministic 휴리스틱보다 더 견고한 성능을 제공한다.

한계점으로는 LLM이 실제 오라클 역할을 완벽히 수행한다는 가정이 현실에서는 위배될 수 있고, CFR 기반 학습이 질문 집합이 매우 크거나 복잡한 자연어 표현을 포함할 때 수렴 속도가 느려질 수 있다는 점을 들었다. 또한, 현재 구현은 질문 수를 제한된 m값으로 강제하는 SLSR에 국한돼 있어, 완전한 SLS(무제한 질문)에서는 아직 확장되지 않았다. 향후 연구에서는 LLM의 불확실성을 모델링한 베이지안 오라클, 다중 단계 추론을 결합한 하이브리드 전략, 그리고 실제 도메인(의료, 법률)에서의 인간 전문가와의 협업 평가가 필요하다.