배우비평가 알고리즘으로 선형이차 평균장 게임의 내시 균형 찾기

본 연구는 무한히 많은 에이전트가 상호작용하는 평균장 게임을 대상으로, 선형 상태 전이와 이차 비용을 갖는 이산시간 모델을 고려한다. 각 에이전트의 동역학은 \(x_{t+1}=Ax_t+Bu_t+A\mu_t+d+\omega_t\) 이며, 여기서 \(\mu_t\) 는 전체 인구의 평균 상태, \(d\) 는 외부 드리프트, \(\omega_t\) 는 가우시안 잡음이다. 비용은 \(c(x_t,u_t,\mu_t)=x_t^\top Qx_t+u_t^\top Ru_t+\mu_t^\top Q\mu_t\) 형태로, 평균장에 대한 상호작용이 명시적으로 포함된다. 문제는 에이전트가 무한히 많아지는 한계(N→∞)에서의 내시 균형 \(\pi^\ast\) 와 그에 대응하는 고정 평균장 \(\mu^\ast\) 를 찾는 것이다. 저자는 Nash 확실성 동등성(NCE) 원리를 이용해, 주어진 평균장 \(\mu\) 하에서 각 에이전트는 독립적인 선형‑이차 레귤레이터(LQR) 문제를 푸는 것과 동등함을 보인다. 따라서 최적 정책은 선형 피드백 \(\pi_\mu(x)=K_\mu x + k_\mu\) 이며, \(K_\mu\) 와 \(k_\mu\) 는 연속적인 Riccati 방정식과 선형 방정식의 해로 구할 수 있다. 이론적 분석은 두 단계로 진행된다. 첫 단계에서는 평균장 \(\mu\) 가 고정된 상황에서, 모델‑프리 배우‑비평가(Actor‑Critic) 알고리즘을 설계한다. 비평가(critic)는 가치 함수 \(V_\theta(x)=x^\top P_\theta x + 2p_\theta^\top x + c_\theta\) 를 선형 근사하고, Primal‑Dual Gradient Temporal Difference(프라임‑듀얼 G‑TD) 업데이트를 통해 \(\theta\) 를 학습한다. 배우(actor)는 정책 그라디언트와 자연 정책 그라디언트를 결합해 \(K_\mu, k_\mu\) 를 동시에 업데이트한다. 이때 특징 함수가 무한히 커질 수 있기에, 트렁케이션 기법을 도입해 오류를 제한하고, 마르코프 체인의 기하급수적 혼합성을 이용해 비평가와 배우의 오차가 각각 선형 수렴한다는 정리를 증명한다. 두 번째 단계에서는 평균장 자체를 업데이트한다. 현재 정책 \(\pi_k\) 에 따라 에이전트들의 평균 행동 \(\bar u_k\) 를 추정하고, 평균장 동역학 \(\mu_{k+1}=A\mu_k + B\bar u_k + d\) 을 적용한다. 배우‑비평가와 평균장 업데이트를 교대로 수행하면, 전체 시스템이 고정점 \((\pi^\ast,\mu^\ast)\) 으로 선형 수렴한다. 수렴 조건은 시스템 행렬 \(A+BK^\ast\) 의 스펙트럼 반경이 1보다 작아야 함을 요구한다. 알고리즘의 주요 장점은 모델‑프리라는 점이다. 전이 행렬 \(A,B\) 와 비용 행렬 \(Q,R\) 을 사전에 알 필요 없이, 실제 시스템에서 관측된 상태‑행동 궤적만으로 학습이 가능하다. 실험에서는 전력망 부하 균형, 군집 로봇 협동, 금융 포트폴리오 최적화 등 다양한 시뮬레이션 환경을 설정하고, 제안된 평균장 배우‑비평가가 기존 테이블 기반 평균장 Q‑학습이나 모델 기반 정책 반복보다 빠른 수렴 속도와 낮은 샘플 복잡도를 보임을 확인한다. 특히, 드리프트 \(d\) 가 존재하는 경우에도 알고리즘이 안정적으로 수렴함을 실험적으로 입증한다. 논문의 기여는 다음과 같다. (1) 평균장 게임의 내시 균형 존재·유일성에 대한 충분조건을 명시하고, 이를 선형‑이차 구조에 맞게 구체화하였다. (2) 선형 함수 근사와 자연 정책 그라디언트를 결합한 배우‑비평가 알고리즘을 설계하고, 평균장 업데이트와 결합했을 때 전역 선형 수렴을 비대칭(비비대칭) 분석을 통해 증명하였다. (3) 무한 상태·행동 공간에서도 트렁케이션을 활용한 새로운 수렴 분석 기법을 도입하였다. (4) 모델‑프리 설정에서도 실용적인 샘플 효율성을 보이며, 다양한 응용 분야에 적용 가능함을 실험으로 보여준다. 따라서 이 연구는 평균장 게임에서 강화학습을 통한 내시 균형 탐색에 대한 최초의 비대칭 전역 수렴 보장을 제공하는 중요한 이정표가 된다.