무한시간 제로합 선형 이차 확률 미분 게임을 위한 강화학습 방법

초록

본 논문은 시스템 파라미터가 완전히 알려지지 않은 상황에서도 제로합 선형‑이차 확률 미분 게임의 나시 균형을 찾을 수 있는 강화학습 프레임워크를 제안한다. 반모델 기반(on‑policy)과 완전 모델 프리(off‑policy) 알고리즘을 설계하고, 데이터 샘플링이 특정 랭크 조건을 만족하면 수렴을 보장한다는 이론적 증명을 제공한다. 시뮬레이션을 통해 제안 방법의 실효성을 확인하였다.

상세 분석

이 논문은 연속시간 제로합 선형‑이차 확률 미분 게임(ZSLQSDG)의 해를 구하기 위해 기존의 알지브라적 리카티 방정식(GT‑ARE) 접근법을 강화학습(RL)과 결합한 새로운 해법을 제시한다. 먼저 문제를 무한시간 평균 비용 형태로 정형화하고, 게임 이론적 알지브라적 리카티 방정식(3)에 대한 안정화 해(stabilizing solution)의 존재조건을 정리한다. 기존 연구는 대부분 결정론적 시스템에 한정되었으며, 확률적 잡음이 제어 입력에 동시에 영향을 미치는 경우는 거의 다루지 못했다. 저자는 이러한 한계를 극복하기 위해 두 단계의 중첩 반복 구조(Nested Iteration)를 도입한다. 외부 반복은 현재 추정된 피드백 게인 K₁, K₂에 의해 시스템 행렬을 변환하고, 내부 반복은 변환된 시스템에 대해 정책 평가(ARE 해 구하기)와 정책 개선(피드백 게인 업데이트)을 교대로 수행한다.

핵심 기여는 이 중첩 구조를 모델 기반, 반모델 기반, 완전 모델 프리 형태로 구현한 세 가지 RL 알고리즘이다. 반모델 기반 알고리즘은 시스템 행렬 A, B₁, B₂는 알려져 있으나 잡음 행렬 Cₗ, Dₗ,i는 미지인 경우에 적용되며, 상태와 제어 입력의 샘플 데이터를 이용해 식(12)와 같은 선형 방정식 형태로 ARE의 해를 추정한다. 완전 모델 프리 알고리즘은 모든 시스템 파라미터가 미지인 상황을 가정하고, 온‑폴리시와 오프‑폴리시 데이터를 동시에 활용해 두 플레이어의 가치 함수와 피드백 게인을 순차적으로 학습한다.

수렴 분석에서는 데이터 행렬 δₓₓ, δᵥᵥ, Iₓₓ, Iₓᵥ, Iᵥᵥ가 충분히 풍부한 경우(즉, 랭크 조건을 만족) 추정된 매트릭스가 실제 GT‑ARE의 해에 점차 수렴함을 보인다. 특히, 제안된 알고리즘은 기존의 반복적 ARE 해법이 파라미터 의존성을 갖는 문제를 회피하고, 실시간 데이터만으로도 안정적인 나시 균형을 얻을 수 있다는 점에서 실용성이 크다.

시뮬레이션에서는 2차원 상태, 1차원 제어 입력을 갖는 예제를 사용해, 모델 오차가 30% 이상인 경우에도 제안된 RL 알고리즘이 기존 모델 기반 정책 반복법과 동등하거나 더 빠른 수렴 속도를 보이며, 평균 비용에서도 유의미한 개선을 달성함을 확인한다. 이는 실제 산업 현장에서 센서 노이즈, 파라미터 변동성 등으로 인해 정확한 모델링이 어려운 상황에 바로 적용 가능함을 의미한다.

전반적으로 이 논문은 연속시간 확률 게임 분야에 강화학습을 체계적으로 도입한 최초의 연구이며, 이론적 수렴 보장과 실험적 검증을 동시에 제공함으로써 향후 제로합 게임, H∞ 제어, 그리고 적대적 강화학습 분야에 중요한 기반을 제공한다.