공분산 조정을 활용한 영 합 선형 이차 2인 차분 게임

초록

본 논문은 목표 터미널 상태 분포를 지정하는 새로운 제약을 도입한 영-합 선형‑이차 차분 게임을 제시한다. 인센티브 함수를 설계해 두 플레이어가 Nash 균형을 따를 경우 시스템 상태가 원하는 가우시안 분포로 수렴하도록 하며, 해는 표준 LQ 차분 게임과 유사한 연계 리카티 방정식 쌍으로 표현된다. 또한 무한 시간 horizon에서도 동일한 방법을 적용할 수 있음을 보이고, 문제를 볼록‑오목 최소극대 형태로 변환해 효율적인 수치 알고리즘을 활용한다.

상세 분석

이 논문은 기존의 선형‑이차(LQ) 영‑합 차분 게임에 ‘터미널 상태 분포 제어’라는 새로운 목표를 추가함으로써, 두 경쟁 플레이어가 서로의 최적 정책을 가정하는 Nash 균형 하에서도 시스템이 사전에 지정된 가우시안 분포에 도달하도록 설계한다는 점에서 혁신적이다. 이를 위해 먼저 기존 LQ 차분 게임에서 비용 함수에 포함되는 터미널 비용 행렬 F를 설계 변수로 두고, F를 적절히 선택하면 최적 정책이 기존과 동일하게 리카티 행렬 Π(t)를 이용한 선형 피드백 형태(u* = −B₁ᵀΠx, v* = B₂ᵀΠx)로 유지된다는 사실을 이용한다.

핵심은 Π(t)와 상태 공분산 Σ(t) 사이의 관계를 이용해 Σ(T)=Σ_T 라는 최종 공분산 조건을 만족시키는 연계 미분 방정식 시스템을 도출하는 것이다. 구체적으로 Π와 H=Σ⁻¹−Π가 각각 (8a), (8b) 형태의 리카티‑유사 방정식을 만족하고, 경계 조건 (8c)(8d) 로 연결된다. 이 시스템은 기존 공분산 제어 문제에서 등장하는 (3)식과 구조적으로 동일하지만, 여기서는 B₁B₁ᵀ−B₂B₂ᵀ 라는 ‘효과적인 제어 입력 행렬’이 등장해 두 플레이어의 상호작용을 반영한다.

특히 B₁B₁ᵀ−B₂B₂ᵀ가 양정(positive semidefinite)이고 (A, B₁B₁ᵀ−B₂B₂ᵀ) 가 제어 가능하면 (8)식은 해가 존재하고, 경우에 따라 폐쇄형 해도 얻을 수 있다. 일반적인 경우 해 존재 여부는 아직 미해결이지만, 수치적으로는 연속적인 Riccati 방정식 해법을 이용해 임의의 정밀도로 근사할 수 있다.

무한 시간 horizon에 대해서는 평균 비용 형태의 비용 함수 J₁을 사용하고, 안정적인 피드백 행렬 K₁, K₂를 찾아 시스템이 정규분포 N(0, Σ) 로 수렴하도록 설계한다. 여기서도 동일하게 최소‑극대 구조가 유지되며, 제약식은 Lyapunov 방정식 AΣ+ΣAᵀ+CCᵀ=0 로 변환된다.

수치 해법 측면에서는 (9)식에서 Schur 보완을 이용해 변수 변환(Y₁,Y₂,Z₁,Z₂) 후 볼록‑오목 최소극대 문제로 전환한다. 이는 기존의 convex‑concave saddle‑point 알고리즘(프라임-듀얼, 프라임-듀얼 경사법 등)을 그대로 적용할 수 있게 해, 실제 구현이 용이함을 보여준다.

전반적으로 이 논문은 (i) 차분 게임에 공분산 제어라는 새로운 제약을 도입, (ii) 기존 LQ 차분 게임 해법을 그대로 활용하면서 인센티브 행렬 F를 설계해 목표 분포를 달성, (iii) 연계 리카티 방정식과 convex‑concave 최적화 프레임워크를 통해 이론적 해와 실용적 수치 해법을 동시에 제공한다는 점에서 학문적·실무적 가치를 동시에 지닌다.