온라인 학습을 위한 경험적 내시값 후회와 비정상성 적응

초록

본 논문은 행동을 관찰할 수 없는 두 플레이어 마코프 게임에서 새로운 후회 지표인 경험적 내시값 후회(Enr)를 제안하고, 이를 최소화하는 파라미터‑프리 알고리즘을 설계한다. 제안 알고리즘은 상대방 정책의 변동성 C와 정책 전환 횟수 L에 따라 $O(\min{\sqrt{K}+(CK)^{1/3},\sqrt{LK}})$ 의 후회 경계를 달성한다. 이는 고정된 상대방 정책일 때는 $O(\sqrt{K})$ 외부 후회를, 최악의 비정상 상황에서는 기존 $O(K^{2/3})$ 내시값 후회를 자연스럽게 연결한다.

상세 분석

이 연구는 ‘uninformed’ 마코프 게임, 즉 상대방의 행동과 정책이 관측되지 않는 환경에서 온라인 학습 문제를 다룬다. 기존 연구(Tian et al., 2021)는 외부 후회가 에피소드 길이 $H$에 대해 지수적 의존성을 갖는다는 불가능성을 보였고, 이를 회피하기 위해 내시값 후회(Nash‑value regret, Nr)를 도입했으며 $O(K^{2/3})$ 의 경계를 제시했다. 그러나 Nr는 상대가 고정 정책을 사용할 때도 $O(K^{2/3})$ 에 머무르며, 실제로는 $O(\sqrt{K})$ 가 가능함에도 불구하고 이를 활용하지 못한다는 한계가 있었다.

논문은 이러한 한계를 극복하기 위해 두 가지 핵심 아이디어를 제시한다. 첫째, 경험적 내시값 후회(Enr)를 정의한다. Enr은 각 상태에서 상대방이 과거 $K$ 에피소드 동안 사용한 정책 집합만을 최소자(min‑player)에게 허용함으로써, 상대가 고정 정책이면 Enr이 외부 후회와 동일해진다. 즉, Enr은 Nr보다 강력하면서도 외부 후회와 자연스럽게 연결되는 중간 지표이다.

둘째, 기존 V‑learning 알고리즘을 epoch‑based 형태로 재분석한다. Mao et al.(2022)의 epoch V‑learning을 기반으로, 에포크 증가 인자 $\eta$ 를 도입해 $O(\eta C + \sqrt{K/\eta})$ 라는 새로운 후회 경계를 얻는다. 여기서 $C$는 상대 정책의 “분산”을 정량화한 비정상성 측도이며, $C=0$ (고정 정책)일 때 $\eta=1/H$ 로 설정하면 $O(\sqrt{K})$ 를 회복한다.

하지만 $\eta$ 를 사전에 알 수 없는 $C$ 에 맞춰 조정하는 것은 불가능하다. 이를 해결하기 위해 논문은 메타‑알고리즘을 설계한다. 메타‑알고리즘은 일정 기준에 따라 epoch V‑learning을 재시작하고, 정책 전환 감지를 통해 $L$ (전환 횟수) 를 추정한다. 결과적으로 최종 알고리즘은 파라미터‑프리이며, $O(\min{\sqrt{K}+(CK)^{1/3},\sqrt{LK}})$ 의 Enr 경계를 달성한다. 이 경계는 $C$ 와 $L$ 두 비정상성 척도에 대해 부드럽게 보간하며, 고정 정책( $C=0$, $L=0$ )에서는 $O(\sqrt{K})$, 급격히 변하는 정책( $C=O(K)$, $L=O(K)$ )에서는 기존 $O(K^{2/3})$ 와 일치한다.

기술적 기여는 다음과 같다. (1) Enr이라는 새로운 후회 개념을 도입해 외부 후회와 내시값 후회를 통합, (2) epoch V‑learning에 대한 새로운 분석을 제공해 $\eta$‑dependent 경계를 도출, (3) 비정상성에 자동 적응하는 재시작 메커니즘을 설계해 파라미터‑프리 성능을 확보. 또한, 기존의 외부 후회 불가능성 결과를 우회하면서도, 비정상 환경에서 최적에 가까운 보장을 제공한다는 점에서 이론적·실용적 의미가 크다.