비선형 동역학을 이용한 다중에이전트 강화학습 알고리즘

초록

본 논문은 에이전트가 자신의 로컬 보상만을 이용해 다른 에이전트의 행동이나 보상을 관찰하지 않고도 내시 균형에 수렴할 수 있는 새로운 MARL 알고리즘인 Weighted Policy Learner(WPL)를 제안한다. WPL은 게임 구조에 대한 사전 지식이 없으며, 2인 2액션 벤치마크와 Shapley 게임, 그리고 100에이전트 대규모 시뮬레이션에서 기존 최첨단 방법들을 능가하는 수렴 성능을 보인다. 또한, WPL의 정책 업데이트는 비선형 미분 방정식으로 기술되며, 이를 수치적으로 해석함으로써 기존 선형·구간선형 알고리즘과의 동역학적 차이를 명확히 제시한다.

상세 분석

Weighted Policy Learner(WPL)는 기존 MARL 접근법이 가정하던 “다른 에이전트의 행동·보상 관찰” 혹은 “게임 구조에 대한 사전 지식”이라는 제약을 완전히 제거한다는 점에서 혁신적이다. WPL은 각 에이전트가 자신의 행동 확률을 현재 보상에 대한 기대값과 비교해 가중치를 조정하는 방식으로 작동한다. 구체적으로, 에이전트 i는 자신의 정책 π_i(a)를 보상 차이 Δr_i에 비례하여 업데이트하고, 이때 업데이트 강도는 현재 선택 확률에 역비례하는 가중치 w_i(a)=π_i(a)(1-π_i(a))를 곱한다. 이러한 가중치 설계는 확률이 0 또는 1에 가까워질수록 업데이트가 급격히 감소하도록 하여, 정책이 과도하게 확정적인 상태에 빠지는 것을 방지한다.

동역학적 관점에서 WPL의 업데이트는 다음과 같은 비선형 연립 미분 방정식으로 표현된다.
dπ_i/dt = η·w_i·Δr_i·(1-2π_i)
여기서 η는 학습률이며, Δr_i는 현재 정책에 대한 기대 보상과 실제 보상의 차이이다. 이 식은 π_i가 0.5를 중심으로 대칭적인 비선형 구배를 갖는 형태이며, 기존의 Linear Reward‑Inaction(LRI)이나 Gradient Ascent(GA)와 달리 정책 공간 전체에 걸쳐 연속적인 곡률을 가진다. 이러한 비선형성은 해석적으로 닫힌 형태의 수렴 증명을 어렵게 만들지만, 수치적 시뮬레이션을 통해 전역적인 수렴성을 확인할 수 있다.

실험에서는 2×2 게임(협력 게임, 경쟁 게임, 혼합형 게임)과 Shapley 게임을 대상으로 WPL의 수렴 궤적을 기존 알고리즘과 비교하였다. 특히 Shapley 게임은 순환적인 전략 변동을 유발해 대부분의 기존 MARL이 발산하거나 진동에 머무르는 것으로 알려져 있다. WPL은 정책이 초기값에 관계없이 결국 안정적인 고정점에 도달했으며, 이는 비선형 가중치가 순환을 억제하고 에이전트 간의 상호작용을 부드럽게 조정하기 때문이다.

또한 100에이전트가 동시에 학습하는 대규모 시뮬레이션에서는 통신 오버헤드가 전혀 없으며, 각 에이전트가 독립적으로 로컬 보상만을 사용해 학습함에도 전체 시스템의 평균 보상이 급격히 상승하고, 최종적으로 근사적인 내시 균형에 수렴하는 모습을 보였다. 이는 WPL이 스케일러블하고 분산 환경에 적합함을 시사한다.

마지막으로 논문은 WPL의 동역학을 수치적으로 풀어 기존 알고리즘의 선형·구간선형 궤적과 비교하였다. 결과적으로 WPL은 초기 급격한 변동 후 점진적인 수렴을 보이며, 선형 알고리즘이 보이는 진동 폭보다 현저히 작다. 이러한 특성은 실제 로봇 군집, 무선 네트워크 자원 배분 등 실시간으로 변하는 환경에서 안정적인 정책 학습을 가능하게 한다.