동시 알파제로 마코프 게임 트리 탐색 확장

초록

동시 알파제로는 두 명의 플레이어가 동시에 행동하는 제로섬 마코프 게임에 알파제로를 적용한 프레임워크이다. 각 상태를 행렬 게임으로 모델링하고, 밴딧 피드백을 이용한 최소 후회(regret‑optimal) 솔버로 공동 행동을 선택한다. 연속 상태·이산 행동의 추격‑회피와 위성 유지 시나리오에서 강인한 전략을 학습하며, 최적 대비 공격자에게도 낮은 익스플로잇 가능성을 보인다.

상세 분석

이 논문은 기존 알파제로가 전제하는 턴제 환경을 넘어, 동시에 행동을 선택해야 하는 두 플레이어 제로섬 마코프 게임에 대한 일반화 방법을 제시한다. 핵심 아이디어는 각 결정 시점을 ‘행렬 게임’으로 재구성하고, 즉시 보상과 미래 가치 추정치를 합산한 페이오프 행렬을 구성하는 것이다. 이때 미래 가치는 현재 신경망이 예측한 값(ˆV)으로 초기화되며, MCTS 탐색 중에 점진적으로 업데이트된다. 행렬 게임을 해결하기 위해 저자들은 O’Donoghue et al.의 밴딧 피드백 기반 최소 후회 솔버를 채택한다. 이는 각 공동 행동에 대한 샘플링 횟수와 사전 확률을 이용해 UCB‑augmented 행렬을 구성하고, regret matching을 통해 근사 내시균형을 빠르게 찾는다. 기존 LP 기반 정확한 내시균형 계산이 비용이 많이 드는 반면, 이 방법은 탐색 단계마다 소수의 반복만으로 충분히 좋은 전략을 제공한다.

논문은 또한 가치 추정 오차가 트리 전체에 어떻게 전파되는지를 수학적으로 분석한다. Lemma 1과 Theorem 1을 통해 근사 가치 ˆV와 최적 가치 V* 사이의 차이가 깊이 D인 트리에서는 γ·D·‖E_D‖_∞ 이하로 제한된다는 수렴 보장을 제시한다. 이는 MCTS가 불완전한 가치 함수에도 불구하고 깊은 탐색을 통해 오류를 기하급수적으로 감소시킬 수 있음을 의미한다.

네트워크 구조는 공유 트렁크 뒤에 두 개의 정책 헤드(플레이어 1, 2)와 하나의 가치 헤드를 두어, 각각의 정책을 독립적으로 출력한다. 가치 헤드는 스칼라 대신 가우시안 히스토그램 형태로 학습되어, 크로스 엔트로피 손실을 통해 보다 안정적인 가치 추정을 가능하게 한다. 제로섬 특성상 플레이어 2의 가치가 −ˆU₁으로 자동 정의된다.

실험에서는 (1) 연속 상태·이산 행동 추격‑회피 게임과 (2) 위성 유지·회피 시나리오라는 두 가지 벤치마크를 사용한다. 두 환경 모두 상태 공간이 연속적이면서 행동이 이산적이어서 전통적인 테이블 기반 방법으로는 처리하기 어렵다. 동시 알파제로는 자기 플레이 학습을 통해 높은 승률을 달성하고, 최적 대비 공격자(베스트 리스폰스)와의 대결에서도 낮은 익스플로잇 가능성(e ≈ 0.02 이하)을 기록한다. 이는 제안된 행렬 게임 솔버와 가치 오차 전파 분석이 실제 전략의 견고함을 보장함을 실증한다.

전체적으로 이 연구는 (1) 동시 행동 게임을 MCTS와 딥러닝으로 효율적으로 해결하는 새로운 프레임워크, (2) 밴딧 피드백 기반 최소 후회 솔버를 통한 빠른 행렬 게임 근사, (3) 가치 오차 전파에 대한 이론적 경계 제공이라는 세 가지 주요 공헌을 한다. 향후 다중 에이전트 협동·경쟁 시나리오, 더 큰 행동 공간, 그리고 비제한적인 확률 전이 모델에도 확장 가능성이 기대된다.