무후회 학습자에 맞서는 최적 전략

초록

이 논문은 반복 게임에서 한쪽 플레이어가 상대방이 무후회(no‑regret) 학습 알고리즘을 사용할 때, 자신이 얻을 수 있는 최적의 효용을 분석한다. 일반적인 가정 하에 최적화자는 언제나 스택엘버그(Stackelberg) 균형에서 얻는 효용을 보장받을 수 있으며, 학습자가 두 행동만 가질 경우 이를 초과할 수 없다. 그러나 학습자가 세 개 이상의 행동을 가지고 평균 기반(mean‑based) 무후회 전략을 사용할 경우, 최적화자는 스택엘버그 효용보다 엄격히 높은 효용을 달성할 수 있다. 또한, 학습자가 무교환(no‑swap) 후회를 만족하면 최적화자는 스택엘버그 효용을 넘을 수 없다는 상한을 제시한다. 최적화자의 최적 정책은 학습자의 누적 행동 유틸리티를 상태 변수로 보는 N차원 제어 문제로 귀결된다.

상세 분석

논문은 두 명의 플레이어가 반복적으로 2인 bimatrix 게임을 진행할 때, 한 명이 무후회 학습자를, 다른 한 명이 최적화자를 맡는 상황을 모델링한다. 먼저 스택엘버그 균형을 정의하고, 최적화자가 이 균형에서 얻는 효용 V를 기준점으로 삼는다. 정리 4는 학습자가 어떠한 외부 후회(no‑regret) 알고리즘을 사용하든, 최적화자는 ε>0를 임의로 작게 잡아 (V−ε)·T−o(T) 만큼의 총 효용을 보장할 수 있음을 증명한다. 핵심 아이디어는 스택엘버그 균형 전략 α와 그에 대한 학습자의 유일 최선 반응 b를 약간 섞어(α*), 학습자가 b가 아닌 행동을 선택할 경우 즉시 손실을 입히게 함으로써, 무후회 보장은 학습자가 거의 항상 b를 선택하도록 만든다.

다음으로 상수합(constant‑sum) 게임에서는 정리 5가 스택엘버그 효용이 최적화자가 달성할 수 있는 상한임을 보인다. 이는 학습자의 누적 효용이 최소화된 학습자 보상 C·T−o(T)와 연결되어, 최적화자의 효용이 V·T+o(T) 이상이 될 수 없음을 의미한다.

무교환(no‑swap‑regret) 학습자의 경우, 정리 7은 교환 후회가 o(T)일 때 최적화자의 효용이 V·T+o(T)로 제한된다는 강력한 결과를 제공한다. 여기서는 교환 후회가 학습자의 행동 분포와 효용 차이를 직접적으로 제한한다는 점을 활용한다.

가장 흥미로운 부분은 평균 기반(mean‑based) 학습자에 대한 정리 9이다. 평균 기반 알고리즘은 과거 누적 보상이 현저히 뒤처지는 행동을 거의 선택하지 않는 특성을 갖는다. 학습자가 세 개 이상의 행동을 가질 경우, 최적화자는 학습자의 누적 보상 벡터를 조작해 학습자를 의도된 비최선 행동으로 유도함으로써, 스택엘버그 효용 V보다 높은 V′를 달성할 수 있다. 이는 두 행동만을 가진 경우(정리 8)와는 근본적인 차이이며, 학습자의 행동 공간이 확장될수록 최적화자가 활용할 수 있는 전략적 자유도가 증가함을 시사한다.

마지막으로 논문은 최적화자의 최적 정책을 N‑차원 제어 문제로 공식화한다. 학습자의 각 행동에 대한 누적 효용 σ_i(t) 를 상태 변수로 보고, 최적화자는 매 라운드 선택할 행동을 통해 이 상태를 원하는 방향으로 이동시킨다. 제어 문제는 선형 비용(최적화자 효용)과 제약(학습자의 평균 기반 선택 규칙)으로 구성되며, 최적 해는 일반적으로 복잡하지만, 상태 공간을 축소하거나 대칭성을 이용해 근사 해를 찾을 수 있는 가능성을 제시한다. 전체적으로 이 연구는 무후회 학습자와의 상호작용에서 스택엘버그 균형이 기본적인 기준이지만, 학습자의 알고리즘 특성과 행동 수에 따라 그 한계를 넘어서는 전략이 존재함을 체계적으로 밝혀냈다.