비협력적 다중에이전트 계획을 위한 게임이론적 해법

초록

본 논문은 자율적인 이기적 에이전트들이 공유 환경에서 충돌을 피하며 각각의 최적 계획을 실행하도록 하는 두 단계 게임 모델을 제안한다. 일반 게임에서는 각 에이전트가 선택할 계획(전략)을 결정하고, 내부 게임에서는 선택된 계획들의 실행 스케줄을 조정해 상호 배제(conflict)를 해소한다. 최종적으로 모든 에이전트가 자신의 효용을 더 이상 개선할 수 없는 내시 균형(Nash equilibrium)을 찾는다.

상세 분석

이 연구는 비협력적 다중에이전트 계획(MAP) 문제를 두 겹의 게임으로 구조화한다는 점에서 독창적이다. 첫 번째 ‘일반 게임’은 각 에이전트가 보유한 제한된 계획 집합 Π_i 중 하나를 선택하도록 하는 정상형 게임이며, 전략 프로파일 p=(p₁,…,p_n)이 형성된다. 여기서 각 계획 p_i는 목표 달성 수, 실행 길이(makespan) 및 행동 비용을 기반으로 정의된 기본 효용 β_i(p_i)를 가진다. 그러나 공동 환경에서 동시에 실행될 때 발생하는 행동 간 상호 배제(mutex) 충돌은 β_i를 감소시킨다. 이를 반영하기 위해 저자는 ‘내부 게임’을 도입한다. 내부 게임은 선택된 계획 프로파일 p를 입력으로 받아, 각 계획의 가능한 실행 스케줄 ψ∈Ψ_{p_i} 중 충돌을 회피하면서 가능한 가장 이른 실행(ψ₀) 혹은 지연된 실행(⊥ 삽입)을 탐색한다. 각 스케줄 ψ에 대해 효용 함수 μ_i(ψ) 를 정의하고, μ_i(ψ₀)=β_i(p_i) 로 설정한다. 지연에 따른 효용 감소는 에이전트마다 다르게 모델링될 수 있어, 실제 상황에서 시간 민감도나 목표 중요도 차이를 반영한다.

내부 게임은 완전 정보 광범위형(extensive-form) 게임으로, 각 시점 t마다 모든 에이전트가 동시에 행동을 선택한다(실제 구현에서는 순차적 움직임으로 변환). 가능한 행동은 현재 계획의 다음 실제 행동 a와 ‘빈 행동’ ⊥ 이다. ⊥ 은 충돌을 회피하기 위한 지연 메커니즘으로, 다른 에이전트가 비어 있지 않은 행동을 수행할 때만 적용 가능하다. 게임 트리는 각 시간 단계마다 n개의 레벨을 갖는 다중 레벨 트리이며, 터미널 노드에서는 모든 에이전트의 스케줄이 충돌 없이 완성된 상태가 된다. 각 터미널 노드 s에 대해 μ_i(s_i) 가 해당 에이전트의 최종 보상이 된다.

저자는 이 내부 게임을 역동적 프로그래밍 혹은 완전 탐색으로 해결하고, 그 결과를 일반 게임의 보상 함수 ρ_i(p)=μ_i(s_i) 로 매핑한다. 일반 게임은 Gambit 툴을 이용해 순수 전략 내시 균형을 계산한다. 이 접근법의 핵심 기여는 (1) 모든 목표를 동시에 달성할 수 없는 경우를 위한 ‘소프트 목표(soft goals)’ 도입, (2) 행동 충돌을 명시적으로 처리하고 지연에 따른 효용 패널티를 적용하는 메커니즘, (3) 두 단계 게임을 실제 구현한 프로토타입을 제공한다는 점이다.

복잡도 측면에서, 일반 게임의 전략 공간은 각 에이전트의 계획 수에 따라 지수적으로 증가하고, 내부 게임은 시간 단계마다 가능한 ⊥ 삽입 조합이 폭발적으로 늘어나므로 전체 알고리즘은 NP‑hard 수준이다. 따라서 저자는 실험을 제한된 계획 수와 짧은 계획 길이(≤5)로 수행했으며, 실험 결과는 충돌이 심한 경우에도 내시 균형을 통해 합리적인 스케줄이 도출됨을 보여준다. 그러나 확장성에 대한 논의는 부족하고, 근사 해법이나 히스토리 기반 전략 선택에 대한 탐색이 필요하다.