모델프리 정책 경사법으로 푸는 이산 평균장 제어

초록

본 논문은 유한 상태공간과 콤팩트 행동공간을 갖는 이산시간 평균장 제어(MFC) 문제에 대해, 전이 확률과 보상이 전체 인구 분포에 의존하는 특성을 극복하고, 완전한 모델프리 방식의 정책 경사 알고리즘(MF‑REINFORCE)을 제안한다. 상태분포 흐름을 로그잇(logit)으로 파라미터화하고, 작은 퍼터베이션을 가해 변형된 가치함수의 기울기를 계산함으로써 실제 정책 기울기에 수렴함을 증명한다. 편향·분산에 대한 명시적 경계와 수치 실험을 통해 알고리즘의 효율성을 확인한다.

상세 분석

이 논문은 평균장 제어에서 정책 기반 강화학습이 직면하는 핵심 난제, 즉 정책 파라미터가 전체 인구 분포에 영향을 미치면서 전이 커널과 보상 함수가 동시에 변한다는 점을 정확히 짚어낸다. 기존 단일 에이전트 강화학습에서 사용되는 로그우도 비율 기법은 평균장 상황에서는 적용이 불가능함을 보이고, 대신 상태분포를 로그잇 벡터로 표현함으로써 연속적인 퍼터베이션이 가능하도록 설계한다. 퍼터베이션 크기 ε→0 일 때, 변형된 가치함수 V^ε(θ) 의 기울기가 원래 가치함수 V(θ) 의 기울기와 일치한다는 정리(Thm 2.4)를 증명함으로써, 모델프리 추정이 이론적으로 타당함을 입증한다. 또한, 정책 기울기 식을 RF, MD, MFD 세 부분으로 분해하여, 기존 REINFORCE와 달리 평균장 파생(MD, MFD) 항을 어떻게 추정할지 구체적인 절차를 제시한다. 여기서 핵심은 로그잇에 대한 민감도 ∇_θ l_t 를 별도 시뮬레이션을 통해 추정하는 것이며, 이는 샘플 경로와 동시에 진행될 수 있다. 알고리즘 MF‑REINFORCE는 이러한 추정값을 이용해 편향이 O(ε)이고, 분산이 O(1/N)인 무편향 근사기를 제공한다(Thm 3.3, 3.5). 실험에서는 전통적인 가치 기반 MF‑Q 학습과 비교해 수렴 속도와 최종 성능이 우수함을 보이며, 특히 정책 파라미터가 연속적이고 고차원인 경우에도 안정적인 학습이 가능함을 확인한다. 이와 같이 본 연구는 평균장 제어에 정책 기반 모델프리 방법을 처음으로 체계화하고, 이론적 수렴 보증과 실용적 구현 방안을 동시에 제공한다는 점에서 큰 의의를 가진다.