혼합 계층 게임을 효율적으로 해결하는 준정책 근사법

초록

본 논문은 로봇 군집의 의사결정이 동시에 발생하는 내시(Nash)와 순차적(Stackelberg) 구조를 혼합한 ‘포레스트형’ 정보 구조를 대상으로, 고차 정책 미분이 발생하는 KKT 조건을 근사화하는 ‘준정책(Quasi‑Policy)’ 접근법을 제안한다. 근사화된 KKT 시스템을 풀기 위해 불완전 뉴턴(inexact Newton) 방법을 설계하고, 비선형 제약과 비이차 목적함수를 갖는 일반 게임에서도 지역 지수 수렴을 이론적으로 증명한다. 구현은 Julia 기반 라이브러리 MixedHierarchyGames.jl에 공개되었으며, 차량 합류·목표 방어 시뮬레이션에서 실시간 수렴을 입증한다.

상세 분석

이 연구는 다중 로봇 협업에서 흔히 나타나는 복합적인 정보 구조, 즉 일부 로봇은 다른 로봇의 행동을 선행 정보로 활용하는 Stackelberg형 리더‑팔로워 관계를 가지면서, 동시에 서로 다른 서브트리 간에는 동시 결정이 이루어지는 Nash형 관계가 공존하는 상황을 모델링한다. 저자들은 이러한 구조를 ‘포레스트(Forest)’ 형태의 유향 비순환 그래프로 정의하고, 각 노드가 최대 하나의 직접 리더만을 갖도록 제한함으로써 트리별 서브게임을 명확히 구분한다.

핵심 이론적 기여는 KKT 최적조건을 전개할 때 발생하는 ‘고차 정책 미분’ 문제를 식별한 점이다. 리더가 자신의 목적을 최소화하기 위해 팔로워의 최적 반응 함수를 삽입하면, 팔로워의 반응이 다시 하위 팔로워들의 반응에 의존하게 되면서 미분 연쇄가 깊어지고, 결국 계층 깊이가 늘어날수록 고차 도함수가 필요하게 된다. 이는 직접적인 뉴턴 방식이나 기존의 bilevel 최적화 기법으로는 계산 복잡도가 급격히 증가해 실시간 적용이 불가능함을 의미한다.

이를 해결하기 위해 저자들은 ‘준정책(Quasi‑Policy)’ 근사법을 도입한다. 구체적으로, 리더가 팔로워의 최적 반응을 삽입할 때 하위 팔로워 정책의 고차 미분을 무시하고 1차 미분만을 고려한다. 이는 기존의 피드백 Nash