제로섬 게임에서 밴딧 피드백을 이용한 순수전략 최대최소 후회 로그 최소화

초록

본 논문은 적대적인 상대와의 제로섬 게임에서 밴딧 피드백만을 이용해 순수전략 최대최소값에 대한 후회(PSMR)를 최소화하는 문제를 제시한다. 무정보(단일 보상) 모델에서는 Tsallis‑INF가 게임 의존 상수 c에 비례하는 O(c log T) 인스턴스‑종속 후회를 달성하고, 정보(상대 행동 관측) 모델에서는 Maximin‑UCB가 더 작은 상수 c′에 대한 동일 형태의 로그 후회를 얻는다. 또한 대규모 행동 집합을 갖는 bilinear 게임으로 일반화하여 Tsallis‑FTRL‑SPM과 Maximin‑LinUCB를 제안하고, 행동 수에 의존하지 않는 로그 후회 경계를 증명한다.

상세 분석

이 논문은 기존의 외부 후회(O(√T)) 한계를 극복하기 위해 ‘순수전략 최대최소 후회(Pure‑Strategy Maximin Regret, PSMR)’라는 새로운 성능 지표를 도입한다. PSMR은 학습자가 보장할 수 있는 최악의 경우 순수전략 maximin 값 v와 실제 누적 보상의 차이를 측정한다. v는 순수전략 내에서 최적의 방어 전략이므로, PSNE가 존재할 경우 Nash 가치와 일치한다. 따라서 PSMR은 Nash‑value regret보다 약하지만, PSNE가 없는 일반 제로섬 게임에서도 의미 있는 안전 기준을 제공한다.

두 가지 밴딧 피드백 모델을 고려한다. ‘무정보’ 모델에서는 학습자가 실제 보상 r_t만 관측하고, ‘정보’ 모델에서는 상대의 행동 y_t도 함께 알 수 있다. 무정보 모델은 전통적인 적대적 밴딧 문제와 동일한 어려움을 갖지만, 저자들은 Tsallis‑INF(α=½)를 적용해 게임 구조를 활용한다. Tsallis‑INF는 부정적인 Tsallis 엔트로피를 정규화 항으로 사용하는 FTRL 방식이며, 중요도 가중 보상 추정량과 시간에 따라 감소하는 학습률 η_t=1/(2√t)을 사용한다. 이 알고리즘은 기존의 로그 후회 분석이 정적 또는 자기‑플레이 환경에 의존하던 것을 넘어, 완전히 적대적인 상대에게도 인스턴스‑종속 로그 후회를 보장한다. 구체적으로, 게임에 엄격한 PSNE가 존재하면 각 행·열에 대한 서브‑옵티멀리티 갭 Δ_r^min, Δ_c^min을 이용해

 PSMR_T = O\Big( \frac{1}{Δ_c^{min}} \sum_{x\neq x^*} \frac{\log T}{Δ_r(x)} \Big)

와 같은 경계를 얻는다. 여기서 상수 c는 게임의 구조적 간격에만 의존하고, 적대적 상대의 전략과는 무관하다. PSNE가 없을 경우에는 v_Nash−v* = Δ_mix>0을 이용해

 PSMR_T = O(m_x Δ_mix)

라는 T에 독립적인 상한을 제공한다. 저자들은 정보이론적 하한을 통해 c 의존성이 불가피함을 증명함으로써, 이 결과가 최적임을 보인다.

‘정보’ 모델에서는 상대 행동을 관측함으로써 더 정교한 탐색‑활용 균형이 가능해진다. Maximin‑UCB는 현재까지 관측된 보상과 상대 행동을 이용해 각 행에 대한 상한값을 계산하고, 그 상한값을 갖는 순수전략을 선택한다. 이는 전통적인 UCB가 기대 보상의 상한을 이용하는 방식과 유사하지만, 여기서는 게임 행렬 전체에 대한 상한을 추정한다는 점이 차별점이다. 결과적으로 얻어지는 상수 c′는 Δ_r^min·Δ_c^min 등 보다 작은 조합으로 정의될 수 있어, 동일한 로그 T 의 의존성을 유지하면서도 실제 후회가 크게 감소할 수 있다.

마지막으로 저자들은 이러한 두 알고리즘을 일반적인 bilinear 게임(행동 집합이 매우 크거나 연속적인 경우)으로 확장한다. 무정보 설정에서는 Tsallis‑FTRL‑SPM을 제안해, Tsallis‑INF와 동일한 정규화와 중요도 가중 추정기를 사용하지만, 행동 집합이 큰 경우에도 효율적인 구현을 위해 샘플링 기반 근사와 사전‑정의된 탐색 분포를 도입한다. 정보 설정에서는 Maximin‑LinUCB를 설계해, 선형 밴딧 기법을 이용해 행렬 A의 열에 대한 상한을 추정하고, 이를 기반으로 최적 행을 선택한다. 두 경우 모두 행동 수 m_x, m_y에 대한 직접적인 의존성을 없애고, 오직 게임 구조에 의해 결정되는 상수 c, c′와 로그 T만이 후회에 영향을 미친다.

이 논문의 주요 기여는 (1) PSMR이라는 새로운 후회 지표를 정의하고, (2) 무정보·정보 두 피드백 모델에서 게임‑의존 로그 후회를 달성한 알고리즘을 제시하며, (3) 그 경계가 정보이론적 하한에 의해 최적임을 증명하고, (4) 대규모 bilinear 게임으로 일반화하여 실용성을 높인 점이다. 특히, 순수전략 PSNE가 존재하는 경우 PSMR과 Nash‑value regret이 일치하므로, 이 결과는 기존의 Nash‑value regret 연구를 강력히 보완한다. 또한, 로그 T 의 의존성은 실제 시스템에서 장기 학습 시 급격한 성능 저하를 방지하는 실용적 의미를 가진다.