KL 정규화 제로섬 마르코프 게임에서 로그 수준의 후회 달성

초록

본 논문은 역 KL 정규화를 이용한 제로섬 행렬 및 마르코프 게임에서, 베스트 응답 샘플링과 낙관적·초낙관적 보너스를 결합한 알고리즘 OMG와 SOMG를 제안한다. 두 알고리즘 모두 정규화 강도 β에 반비례하는 로그‑T 후회와, 기존의 √T 수준 후회를 동시에 달성한다. 이는 KL 정규화가 게임 이론적 설정에서도 샘플 효율성을 크게 향상시킬 수 있음을 최초로 이론적으로 증명한 결과이다.

상세 분석

이 논문은 최근 LLM 정렬 작업에서 KL 정규화가 실용적으로 사용되고 있음에도, 게임 이론적 환경에서의 이론적 이점을 거의 다루지 못한 점을 지적한다. 저자들은 두 단계로 접근한다. 첫째, 1‑스텝 제로섬 행렬 게임에 대해 “Optimistic Matrix Game”(OMG) 알고리즘을 설계한다. OMG는 상대방의 고정 전략에 대한 최적 응답이 Gibbs 분포 형태임을 이용해, 베스트 응답을 직접 샘플링하고, 각 행·열에 대해 β‑스케일링된 낙관적 보너스를 부여한다. 이 보너스는 추정 오차를 상한으로 잡아, 정규화된 후회가 O(β⁻¹ d² log²(T/δ)) 로 로그 수준에 머무르게 한다. 동시에, β에 독립적인 전통적 √T 후회도 O(d√T log(T/δ)) 로 유지한다.

둘째, 이 아이디어를 유한‑ horizon 마르코프 게임에 확장한다. “Super‑Optimistic Matrix Game”(SOMG) 알고리즘은 각 단계마다 OMG와 동일한 베스트 응답 샘플링을 수행하지만, 상태‑가치 함수에 대해 “초낙관적 보너스”를 도입한다. 초낙관적 보너스는 일반적인 낙관적 상한보다 더 큰 값을 할당해, Q‑함수의 추정이 실제보다 높게 유지되도록 설계된다. 이 설계는 KL 정규화가 제공하는 Gibbs 형태의 최적 정책을 활용해, 각 단계별 행렬 게임을 효율적으로 해결하게 만든다. 결과적으로 SOMG는 전체 에피소드에 대해 O(β⁻¹ d³ H⁷ log²(dT/δ)) 의 로그‑T 후회와, O(d^{3/2} H³ √T) 의 전통적 후회를 동시에 달성한다.

핵심 기술적 통찰은 다음과 같다. (1) KL 정규화 하에서 최적 응답이 명시적 Gibbs 분포로 표현될 수 있다는 사실을 이용해, 베스트 응답을 직접 샘플링함으로써 복잡한 최적화 과정을 회피한다. (2) 낙관적 보너스와 초낙관적 보너스를 설계할 때, 정규화 파라미터 β가 보너스 크기에 역비례하도록 함으로써, β가 작을수록(강한 정규화) 더 빠른 수렴을 보장한다. (3) 함수 근사(선형 피처) 가정 하에, regret 분석을 기존의 마르코프 게임 문헌과 동일한 마스크(예: UCB‑type)와 결합해, 로그‑T 후회를 얻는 동시에 샘플 복잡도도 ε‑NE에 대해 O(β⁻¹/ε) 수준으로 선형 스케일링한다.

이러한 결과는 기존 연구가 제시한 O(√T) 후회를 넘어, KL 정규화가 제공하는 구조적 정보를 활용해 게임‑학습의 샘플 효율성을 크게 개선할 수 있음을 증명한다. 또한, 정규화 강도 β와 피처 차원 d, 그리고 horizon H 사이의 명시적 의존 관계를 제시함으로써, 실제 LLM 정렬과 같은 고차원·다단계 환경에서 파라미터 선택 가이드라인을 제공한다.