잠재 기반 보상 변환이 일반합 확률 게임의 정책에 미치는 불변성

초록

본 논문은 마코프 결정 과정에서 사용되던 잠재 기반 보상 shaping 기법을 다중 플레이어 일반합 확률 게임으로 확장한다. 잠재 함수에 기반한 보상 변환을 적용해도 각 플레이어의 내시 균형 전략 집합은 변하지 않으며, 이는 정책 불변성(policy invariance)이라고 부른다. 이러한 특성을 이용하면 학습 과정에서 보상 구조를 조정해 수렴 속도를 높일 수 있다.

상세 분석

이 연구는 기존 강화학습에서 널리 활용되는 잠재 기반 보상 shaping(Potential‑based Reward Shaping, PBRS)의 개념을 일반합(general‑sum) 확률 게임으로 일반화한다는 점에서 학문적 의의가 크다. 먼저 저자들은 확률 게임을 (S, A₁,…,Aₙ, P, R₁,…,Rₙ, γ) 형태의 튜플로 정의하고, 각 플레이어 i의 보상 함수 Rᵢ(s,a₁,…,aₙ)와 전이 확률 P(s’|s,a₁,…,aₙ)를 명시한다. 여기서 잠재 함수 Φ: S → ℝ를 도입해 보상 변환을 Rᵢ’(s,a)=Rᵢ(s,a)+γ·Φ(s’)−Φ(s) 형태로 정의한다. 핵심 정리는 “잠재 기반 보상 변환은 모든 플레이어의 내시 균형 정책 집합을 보존한다”는 것이다. 증명은 두 단계로 구성된다. 첫째, 변환 전후의 행동 가치 함수 Qᵢ와 Qᵢ’ 사이에 Qᵢ’(s,a)=Qᵢ(s,a)+Φ(s)−γ·E