정책 최적화, 제로섬 선형 이차 게임에서 내시 균형으로 확실히 수렴

**1. 연구 배경 및 동기** 강화학습(RL)에서 정책 최적화(Policy Optimization, PO)는 연속 제어와 고차원 액션 공간을 다루는 데 유리하지만, 다중 에이전트 제로섬 마르코프 게임에서는 이론적 보장이 부족했다. 특히, 두 플레이어가 동시에 정책을 업데이트하면 비정상적인 순환이나 발산이 발생한다는 보고가 있다. 이러한 문제를 명확히 이해하기 위해 저자들은 가장 단순하면서도 실용적인 제로섬 게임인 선형 이차(LQ) 게임을 선택했다. LQ 게임은 시스템이 선형이며 비용이 2차 형태이기 때문에 해석이 가능하면서도, 일반적인 연속 제어 문제를 선형화했을 때 나타나는 구조를 그대로 담고 있다. **2. 문제 정의** 시스템 동역학은 \(x_{t+1}=Ax_t+Bu_t+Cv_t\) 로 주어지고, 플레이어 1은 비용을 최소화, 플레이어 2는 최대화한다. 비용은 \