자기 거울 하강법: 강화학습·퀀탈 응답 균형·제로섬 게임을 하나로 잇다

초록

본 논문은 기존 거울 하강법과 비유클리드 근접 경사법을 결합한 ‘자기 거울 하강법(MMD)’을 제안한다. MMD는 변분 불평등(VI) 형태로 모델링된 두 플레이어 제로섬 게임의 정규화된 샌드위치 문제를 해결하며, 첫 번째 순서 피드백만으로도 확장형 게임에서 퀀탈 응답 균형(QRE)에 대해 선형 수렴을 보장한다. 또한 표준 강화학습 알고리즘으로서 CFR과 경쟁 가능한 성능을 보이며, 3×3 다크 헥스와 팬텀 틱택토와 같은 딥 RL 환경에서도 좋은 결과를 얻는다.

상세 분석

논문은 두 플레이어 제로섬 게임을 변분 불평등(VI) 문제로 재구성하고, 이를 비유클리드 근접 경사법(Non‑Euclidean Proximal Gradient, NEPG)의 특수 형태로 풀어낸다. 핵심 아이디어는 강하게 단조(monotone)하고 복합 구조(composite)를 가진 연산자 G를 정의하고, g(정규화 항)를 Bregman 발산 ψ와 결합해 ‘자기(magnet)’라는 기준점으로 끌어당기는 형태의 업데이트를 설계하는 것이다. 알고리즘 3.1은 일반적인 NEPG이며, 가정 3.2‑3.3(ψ의 1‑강볼록성, F의 L‑스무스·단조성, g의 상대 강볼록성)을 만족하면 정리 3.4에 의해 Bregman 거리 기준으로 선형 수렴을 보인다. 이때 α>0가 필요하며, α→0이면 단순 투사 경사 상승법이 되어 발산 위험이 있다.
MMD는 위 일반 알고리즘을 두 플레이어가 동시에 수행하도록 특수화한 것으로, 업데이트 식 (6)·(7)에서 ‘자기’는 정규화된 엔트로피 ψ 자체이거나 ψ와 동일한 형태의 Bregman 발산을 이용해 정의된다. ψ를 음의 엔트로피로 잡으면 정책 업데이트는 KL 발산 형태의 정규화된 정책 그라디언트 상승/하강이 되며, 이는 QRE의 로그잇 형태와 정확히 일치한다. 따라서 NFG와 EFG 모두에서 α‑QRE에 대해 지수적으로 수렴한다는 이론적 보장을 얻는다.
실험에서는 (1) 정상형 및 시퀀스 형태 게임에서 QRE에 대한 수렴 속도를 검증해 선형(지수) 수렴을 확인하고, (2) 액션‑값 피드백을 이용한 A‑QRE 수렴을 관찰했다. 이어서 표준 RL 설정(탭ular CFR 대비)에서 MMD가 자기 플레이를 통해 탐욕적 정책을 빠르게 수렴시켜 CFR과 비슷한 익스플로잇 가능성을 보였다. 마지막으로 딥 RL 실험으로 3×3 다크 헥스와 팬텀 틱택토에 MMD를 적용했으며, 정책 네트워크가 자기‑자기 상호작용을 통해 근사 익스플로잇 가능성을 지속적으로 감소시키는 모습을 보였다. 전체적으로 MMD는 강화학습, QRE 계산, 제로섬 게임 해법을 하나의 통합 프레임워크로 제공한다는 점에서 의미가 크다.