불완전 정보 게임에서 베이지안 상대 활용의 정확한 알고리즘

본 논문은 베이지안 프레임워크를 이용한 상대 전략 활용 문제를 불완전 정보 게임에 적용하는 방법을 제시한다. 서론에서는 내시 균형이 두 플레이어 영-합 게임에서만 강력한 이론적 근거를 가지며, 일반 게임에서는 상대의 약점을 학습해 활용하는 것이 더 실용적이라는 점을 강조한다. 기존 연구는 정상형 게임에서 디리클레 사전과 다항식 샘플링을 가정하면 베이지안 최적응답을 다항식 시간에 정확히 계산할 수 있음을 보였지만, 불완전 정보 게임에서는 사후분포가 무한 차원의 적분을 필요로 하여 근사 방법만 존재했다. 이러한 배경에서 저자들은 첫 번째로 정확한 알고리즘을 제시한다. 핵심 이론은 “사후분포의 평균 전략이 전체 사후분포와 동일한 기대 효용을 제공한다”는 정리(Theorem 2.1)이다. 이를 통해 무한히 많은 혼합 전략을 고려할 필요 없이, 사후분포의 평균 혼합 전략 하나만을 대상으로 최적응답을 계산하면 된다. 이 정리는 정상형 게임뿐 아니라 확장형 게임(완전·불완전 정보 모두)과 플레이어 수에 관계없이 적용 가능하다. 디리클레 사전은 멀티노미얼 분포의 공액 사전으로, 관측이 추가될 때마다 파라미터 α_i를 해당 행동이 관측된 횟수만큼 증가시켜 사후분포를 업데이트한다. 그러나 불완전 정보 게임에서는 상대의 사적 정보가 관측되지 않으므로, 어떤 α_i를 증가시켜야 할지 모호하다. 이를 해결하기 위해 저자들은 관측된 공개 행동 a와 가능한 사적 상태 x의 사전 확률 P(x)·P(a|x)를 이용해 베이즈 규칙으로 P(x|a)를 계산하고, 각 상태별로 α_i를 부분적으로 업데이트한다. 이렇게 하면 전체 사후분포는 여전히 디리클레 형태를 유지하고, 평균 전략은 각 상태별 업데이트된 α_i를 정규화한 값들의 가중합으로 얻어진다. 알고리즘은 다음 단계로 구성된다. (1) 초기 디리클레 파라미터 α를 사전 지식이나 균등 분포로 설정한다. (2) 매 라운드마다 관측된 행동 a를 기록하고, 가능한 모든 사적 상태 x에 대해 P(x|a) = P(a|x)·P(x)/∑_x' P(a|x')·P(x')를 계산한다. (3) 각 x에 대해 α_i ← α_i + P(x|a)·δ_{i,a} (δ는 행동 a가 i번째 카운터에 해당하면 1, 아니면 0) 형태로 파라미터를 부드럽게 업데이트한다. (4) 업데이트된 α를 정규화해 평균 전략 μ_i = α_i / Σ_j α_j 를 얻는다. (5) μ에 대해 기존의 베스트 응답 알고리즘(예: CFR, 선형 프로그래밍)을 적용해 우리 플레이어의 최적 전략을 산출한다. 이 전체 과정은 각 라운드마다 O(K·|X|) 연산으로 수행 가능하며, K는 행동 수, |X|는 사적 정보 상태 수이다. 또한, 균등 사전(다각형 위의 균등 분포) 경우에도 유사한 절차를 제시한다. 여기서는 사전이 다각형의 부피 비율로 정의되므로, 관측 후 사후는 다각형 내부의 새로운 부피 비율을 계산해 평균 전략을 얻는다. 이 경우에도 폐쇄형 식을 이용해 파라미터 업데이트가 가능하다. 실험에서는 두 가지 대표적인 불완전 정보 포커 게임, Kuhn Poker와 Leduc Poker를 사용했다. 각각의 게임에서 기존 중요도 샘플링 기반 근사법과 제안 알고리즘을 비교하였다. 결과는 다음과 같다. (1) 실행 시간: 제안 알고리즘은 평균 0.03초 내에 베스트 응답을 계산했으며, 근사법은 1초 이상 소요되었다. (2) 수익: 제안 알고리즘은 평균 0.12 BB(빅 블라인드) 이상의 이득을 기록했으며, 근사법은 0.03 BB 정도에 그쳤다. (3) 관측 수가 증가함에 따라 근사법은 수렴이 느리며 때때로 수익이 음수로 변했지만, 제안 알고리즘은 관측이 많아질수록 수익이 단조히 증가했다. (4) 수치적 안정성: 관측이 수천 회를 초과하면 감마 함수 계산에서 오버플로가 발생할 수 있었지만, 로그-감마 함수를 이용한 구현으로 이를 완화했다. 논문은 또한 알고리즘의 견고성을 이론적으로 분석한다. 상대 전략이 평균 전략 μ에서 ε만큼 변동해도, 기대 효용 차이는 O(ε·M·N) (M은 최대 보상, N은 행동 수) 이하로 제한됨을 보였다. 이는 L1, L2, Earth Mover’s Distance와 같은 거리 척도에 대해 연속성을 보장한다는 의미이며, 작은 모델 오차가 큰 성능 저하로 이어지지 않음을 의미한다. 마지막으로, 제한된 내시 균형 응답(Restricted Nash Response)과 같은 보다 보수적인 응답 함수와도 쉽게 결합할 수 있음을 언급한다. 따라서 제안 알고리즘은 베이지안 모델링이 정확하지 않거나 상대가 전략을 동적으로 바꾸는 상황에서도 실용적인 대안이 된다. 전체적으로, 이 논문은 불완전 정보 게임에서 베이지안 상대 활용을 위한 최초의 정확하고 효율적인 알고리즘을 제공함으로써, 기존 근사 방법의 한계를 뛰어넘고, 실시간 게임 AI와 자동화된 전략 학습 시스템에 직접 적용 가능한 이론적·실험적 기반을 마련하였다.