샘플링된 허구적 플레이는 한난 일관성을 만족한다

논문은 반복 게임에서 플레이어가 사용할 수 있는 학습 절차인 허구적 플레이(Fictitious Play)의 한계를 지적하고, 이를 보완한 샘플링 허구적 플레이(Sampled Fictitious Play)를 제안한다. 기본 허구적 플레이는 매 라운드마다 상대의 전체 과거 행동을 누적해 가장 큰 평균 보상을 주는 전략을 선택한다. 그러나 이 방식은 후회(regret)가 영구히 남아 Hannan 일관성(즉, 평균 후회가 0으로 수렴)이라는 ‘no‑regret’ 특성을 만족하지 못한다는 것이 알려져 있다. 기존 연구에서는 보상에 작은 확률적 교란을 추가하거나, 보상을 부드럽게 하는 스무딩(smoothing) 기법을 통해 Hannan 일관성을 확보했으며, 이러한 변형들은 ‘follow‑the‑perturbed‑leader(FPL)’ 혹은 ‘regret matching’ 등으로 불린다. 본 논문은 이러한 변형 중 하나인 ‘샘플링 허구적 플레이’를 정의한다. 구체적으로, t번째 라운드에서 플레이어는 과거 시점 {1,…,t‑1} 중에서 각 시점을 독립적으로 ½ 확률로 선택해 샘플 집합 S_t를 만든다(베르누이 샘플링). 그리고 S_t에 포함된 시점들의 상대 행동만을 고려해 평균 보상이 최대가 되는 전략을 선택한다. 만약 S_t가 비어 있으면 모든 전략이 동등하게 선택된다. 이 과정은 파라미터가 전혀 필요 없으며, 기존 허구적 플레이와 동일한 형태의 최적화 문제를 풀기만 하면 된다. 주요 결과는 다음과 같다. **Theorem 3.1**: 베르누이 샘플링을 사용한 샘플링 허구적 플레이는 모든 반복 게임에서 Hannan 일관성을 만족한다. 즉, lim sup_{t→∞} R_{t,i}/t ≤ 0 (거의 확실히)이다. 증명은 크게 네 단계로 구성된다. 1. **후회와 전환 확률 연결**: 상대의 행동을 고정(‘oblivious opponent’)이라고 가정하고, 기대 후회를 각 전략 쌍(i, j)의 보상 차이 |g_{t,i}−g_{t,j}|와 ‘전환’(즉, 누적 차이가 양에서 음으로 바뀌는 순간) 발생 확률의 곱으로 표현한다. 이는 Theorem 4.1에서 정량화된다. 2. **전환 확률에 대한 Littlewood‑Offord 적용**: 전환이 일어나려면 랜덤 워크 Σ_{τ≤t−1} ε_τ g_{τ,i−j}가 특정 작은 구간에 들어가야 한다. 이를 ‘small‑ball’ 확률이라고 부르고, Littlewood‑Offord 정리(특히 Erdős 1945년 결과)와 그 변형인 Corollary 4.2.1을 이용해 O(1/√n) 수준으로 상한을 잡는다. 3. **다중 스케일 분석**: 보상 차이 |g_{t,i−j}|의 크기에 따라 로그‑로그 스케일(K≈log log T)로 구간을 나누고, 각 구간마다 위의 반농도 결과를 적용한다. 작은 차이 구간(A₀)은 별도(확률 ≤1)로 처리하고, 나머지 구간은 Theorem 4.4를 통해 20·C_LO·p·|A_k| 로 상한을 얻는다. 4. **전체 합산 및 최종 후회 bound**: 모든 구간에 대해 합산하면 전환 확률의 총합이 20·C_LO·p·T·log log T 이하가 된다. 이를 Theorem 4.1에 대입하면 기대 후회 E