관찰 없는 마르코프 게임에서 복제 전략으로 승부하기

초록

본 논문은 보상 정보를 전혀 관찰할 수 없는 상황에서도, 전이 확률을 알고 있는 학습자가 상대방의 행동만을 관찰하여 제로섬 대칭 마르코프 게임에서 서브리니어 레그레트를 달성할 수 있음을 보인다. 대칭성을 세 단계(SSG, MSG, HSG)로 정의하고, 각 경우에 대해 다항 시간 알고리즘을 제시한다. 특히 가장 일반적인 HSG 경우는 게임을 단일 행렬 게임으로 축소시켜 O(H n √T) 레그레트를 얻는다.

상세 분석

이 논문은 기존 Feldman et al. (2010)의 복제(Copycat) 전략을 마르코프 게임으로 확장하려는 시도에서 출발한다. 저자는 제로섬 대칭 마르코프 게임을 세 가지 대칭 정의로 구분한다. 첫 번째인 Per‑state Symmetric Game(SSG)는 각 상태가 자체적으로 대칭적인 행렬 게임임을 의미한다. 이 경우 상태마다 독립적으로 복제 전략을 적용하면, 상태 수 |S|와 시간 horizon H에 비례하는 O(n p T |S| H) 형태의 레그레트를 얻는다. 두 번째인 Symmetry w.r.t. Markov Policies(MSG)는 모든 마르코프 정책 쌍에 대해 가치 함수가 부호만 반대임을 요구한다. 저자는 MSG가 실제로는 SSG와 동등한 구조를 갖는다는 강력한 변환 정리를 증명한다. 구체적으로, 각 단계에서 정책을 “펙터링”하여 스큐‑대칭 매트릭스로 분해하고, 이를 다시 복제 전략에 적용함으로써 동일한 레그레트 bound를 유지한다. 세 번째인 History‑dependent Symmetric Game(HSG)는 모든 히스토리‑의존 정책에 대해 가치가 부호만 반대임을 요구한다. 이 조건은 게임의 동적 특성을 완전히 소멸시켜, 전체 마르코프 게임을 하나의 대칭 행렬 게임으로 축소한다. 결과적으로 HSG에서는 기존 복제 전략을 그대로 사용해 O(H n √T) 레그레트를 달성한다. 논문은 또한 SSG에 대한 Ω(n p T |S| H) 하한을 제시해 제시된 알고리즘이 파라미터 의존도 면에서 최적임을 입증한다. 전체적으로, 대칭성의 강도가 높을수록 게임 구조가 더 제한되어 학습 문제가 단순화되는 역설적인 계층 구조를 발견했으며, 이는 온라인 학습과 적대적 게임 이론 사이의 연결 고리를 심화시킨다.