비협력 동적 게임을 위한 다중에이전트 가이드 정책 탐색

초록

본 논문은 비협력 동적 게임에서 다중에이전트 정책 경사법(MA‑PG)의 불안정성을 모델 기반 사전(가이드)으로 정규화하여 해결한다. 선형‑이차(LQ) 게임에 대해 가이드를 포함한 보상함수의 안정성을 이론적으로 증명하고, 무한히 긴 비선형 게임에서는 현재 정책의 궤적으로부터 짧은 구간의 LQ 근사를 생성해 가이드로 활용하는 MA‑GPS 알고리즘을 제안한다. 차량 플래토닝과 6인 농구 포메이션 실험에서 기존 MARL 방법보다 빠른 수렴과 낮은 변동성을 보였다.

상세 분석

이 연구는 비협력 동적 게임에서 다중에이전트 강화학습(MARL)의 핵심 난제인 정책 업데이트 간 비정상적 상호작용과 제한 주기(limit‑cycle) 현상을 모델 기반 사전을 이용해 근본적으로 완화한다는 점에서 의미가 크다. 먼저 LQ 게임을 분석 대상으로 삼아, 임의의 안정적인 피드백 정책 (\breve K)를 ‘가이드’로 정의하고, 각 에이전트의 비용에 (\rho|!K_i-\breve K_i!|_{R_i}^2) 형태의 정규화 항을 추가한다. 이 정규화는 의사‑그라디언트 (w(K))의 야코비안에 (\rho R)를 더하는 효과를 가지며, (\rho)가 충분히 크면 모든 고유값의 실수가 양수가 되도록 보장한다. 따라서 원래 불안정한 정책 그라디언트 역학이 지역적으로 지수 수렴하게 된다. 중요한 점은 ‘안정성’과 ‘바이어스’ 사이에 명시적인 트레이드오프가 존재한다는 것이다. (\rho)가 작으면 안정화가 미흡하고, 너무 크면 최종 정책이 가이드에 과도하게 끌려 원래 나시 균형에서 멀어질 수 있다. 논문은 바이어스 상한을 정량적으로 제시하고, 실험을 통해 적절한 (\rho) 선택이 가능함을 보여준다.

비선형 게임으로 확장할 때는 iLQGames 아이디어를 차용한다. 현재 신경망 정책이 생성한 상태‑액션 궤적을 중심으로 짧은 구간의 1차 테일러 전개를 수행해 로컬 LQ 모델을 만든 뒤, 해당 로컬 LQ 게임의 나시 균형을 가이드로 사용한다. 이 과정은 매 학습 단계마다 샘플링된 궤적에 대해 자동으로 이루어지므로 사전 계산된 가이드가 필요 없으며, 고차원 비선형 시스템에서도 실시간에 가까운 정책 업데이트가 가능하다. 알고리즘은 (1) 현재 정책으로 롤아웃, (2) 로컬 LQ 근사와 나시 해 구함, (3) 정규화된 보상으로 MA‑PG 수행, (4) 정책 파라미터 업데이트의 순환으로 구성된다.

실험에서는 (i) 선형‑이차 게임에서 가이드가 없는 경우와 비교해 수렴 속도가 2~3배 빨라졌으며, (ii) 차량 플래토닝 시뮬레이션에서 충돌 회피와 거리 유지 목표를 동시에 달성하면서 학습 진동이 크게 감소했고, (iii) 6인 농구 포메이션에서는 복잡한 협동·경쟁 구조에도 불구하고 기존 MA‑PG, MADDPG, COMA 등에 비해 평균 보상이 15 % 이상 향상되었다. 특히 비선형 환경에서도 가이드가 부정확할 경우에도 정책이 가이드를 넘어서는 성능을 보이는 점이 주목할 만하다.

이 논문은 모델 기반 가이드를 정책 그라디언트에 직접 삽입함으로써 MARL의 안정성을 이론적으로 보장하고, 로컬 LQ 근사를 활용한 실용적인 알고리즘을 제시한다는 점에서 비협력 다중에이전트 시스템 연구에 중요한 전환점을 제공한다. 다만 가이드 품질에 대한 의존성, (\rho) 선택의 경험적 조정 필요성, 그리고 장기적인 글로벌 최적성 보장은 아직 남아 있는 과제로 보인다.