대칭 전략 개선 알고리즘: 게임 이론의 새로운 패러다임

초록

본 논문은 두 플레이어 제로섬 그래프 게임(패리티, 평균 보상, 할인 보상)에서 기존의 비대칭 전략 개선 방식을 넘어, 양 플레이어의 전략을 동시에 개선하는 대칭 전략 개선 알고리즘을 제안한다. 알고리즘은 각 단계에서 상대의 최적 반대 전략과 일치하는 개선을 선택함으로써 값이 엄격히 향상됨을 보장하고, Friedmann이 제시한 “함정” 사례에서도 다항 시간 수렴을 유지한다.

상세 분석

논문은 먼저 전통적인 전략 개선(Strategy Improvement, SI) 알고리즘이 “플레이어 Max가 현재 전략 σ에 대해 최적 반대 전략 τ⁽ᶜ⁾_σ를 계산하고, 그에 대한 가치 평가를 통해 Prof(σ)라 불리는 이익 가능한 전이 집합을 구한 뒤, 선택적 혹은 전부 적용하여 σ를 갱신”하는 과정을 설명한다. 이러한 비대칭 방식은 각 반복마다 한쪽 플레이어만을 개선하므로, Friedmann이 만든 복잡도 하한(지수적 실행 시간) 함정에 쉽게 빠진다.

이에 저자들은 ‘나이브 대칭’ 접근을 검토한다. 나이브 방식은 σ와 τ를 각각 상대의 최적 반대 전략으로 교체하지만, 서로의 개선이 상충될 수 있어 수렴이 보장되지 않는다. 이를 극복하기 위해 제안된 대칭 전략 개선 알고리즘(Symmetric Strategy Improvement, SSI) 은 다음 핵심 아이디어를 도입한다.

1. 양쪽 최적 반대 전략 동시 계산: 현재 σ와 τ에 대해 τ⁽ᶜ⁾_σ와 σ⁽ᶜ⁾_τ를 구한다. 이는 게임이 위치 결정(positional determinacy)을 갖는 경우, 각각의 최적 반대 전략이 메모리리스임을 이용한다.
2. 교차 검증된 이익 전이 선택: Prof(σ)와 Prof(τ) 집합을 구한 뒤, 각각 σ와 τ에 적용할 전이는 “σ⁽ᶜ⁾_τ와 겹치는” 전이와 “τ⁽ᶜ⁾_σ와 겹치는” 전이만을 선택한다. 즉, σ의 개선이 τ⁽ᶜ⁾_σ와 일치하고, τ의 개선이 σ⁽ᶜ⁾_τ와 일치하도록 제한한다. 이는 각 플레이어가 상대의 최적 반응을 방해하지 않으면서도 가치가 엄격히 상승하도록 보장한다.
3. 값의 단조 증가와 유한성: 각 반복에서 σ와 τ의 가치 벡터가 각각 ‘≤’와 ‘≥’ 관계로 단조 증가(감소)함을 증명한다. 전략 공간이 유한하므로 결국 고정점에 도달한다.

논문은 이러한 알고리즘이 “전략 개선에 적합한 클래스”(위치 결정, Prof 집합의 결합 가능성, 최대 식별성)를 만족하는 경우에 한해 정당성을 보인다. 특히 패리티, 평균 보상, 할인 보상 게임은 모두 이러한 조건을 만족하므로, SSI는 이들 게임에 적용 가능하다.

또한, 저자들은 Friedmann이 제시한 여러 함정(예: “binary counter” 구조)을 SSI에 적용해 보았으며, 각 경우에서 SSI가 함정에 빠지지 않고 다항 시간 내에 수렴함을 실험적으로 확인했다. 이는 기존 SI가 지수적 실행 시간에 빠질 위험이 있었던 반면, 대칭 접근이 이러한 위험을 회피한다는 강력한 증거이다.

마지막으로, 알고리즘의 구현 복잡도는 기존 SI와 비슷한 수준이다. 각 반복에서 두 번의 최적 반대 전략 계산과 Prof 집합의 교차 연산만 추가되므로, 실제 실행 시간은 크게 증가하지 않는다. 다만, 전략 선택 규칙(예: 모든 가능한 교차 전이를 적용할지, 일부만 선택할지)에 따라 반복 횟수가 달라질 수 있어, 향후 연구에서는 효율적인 선택 규칙 설계와 경험적 평가가 필요하다.

요약하면, SSI는 기존 비대칭 전략 개선의 한계를 극복하고, 대칭성을 활용해 두 플레이어의 전략을 동시에 개선함으로써 이론적·실험적 측면 모두에서 강력한 성능을 보이는 새로운 알고리즘이다.