딥 메타 협조 그래프를 이용한 다중 에이전트 강화학습

초록

본 논문은 협조적 다중 에이전트 강화학습(MARL)에서 에이전트 간의 복잡하고 변화하는 상호작용을 효율적으로 모델링하기 위해 ‘딥 메타 협조 그래프(Deep Meta Coordination Graph, DMCG)’를 제안한다. DMCG는 여러 개의 기본 그래프를 주의(attention) 기반으로 동적으로 조합해 메타 협조 그래프(MCG)를 생성하고, 이를 그래프 컨볼루션 네트워크(GCN)로 전달해 각 에이전트의 상태 표현을 강화한다. 메타 그래프와 가치 함수가 공동으로 최적화되며, 실험 결과 기존 그래프 기반·비그래프 기반 MARL 방법들을 크게 앞선 성능과 샘플 효율성을 보인다.

상세 분석

DMCG의 핵심 아이디어는 “메타” 수준에서 그래프 구조를 학습한다는 점이다. 기존 협조 그래프(Coordination Graph, CG)는 사전에 정의된 고정 토폴로지를 사용하거나, 단일 attention 행렬을 통해 암시적 그래프를 형성한다. 이러한 접근은 에이전트 간 관계가 시간에 따라 변하거나, 여러 종류의 상호작용(물리적 근접, 신호 전달, 전략적 영향 등)이 동시에 존재할 때 한계가 있다. DMCG는 K개의 기본 관계 그래프(완전 그래프를 초기값으로 함)를 유지하고, 각 레이어와 채널마다 별도의 attention 가중치 α(l,c)k 를 학습한다. 이를 통해 서로 다른 “관계 유형”을 표현하는 여러 그래프를 채널별로 혼합하고, L개의 합성 레이어를 거쳐 최종 메타 그래프 A(c)M 을 만든다. 이 과정은 완전 미분 가능하므로, 그래프 구조 자체가 정책·가치 네트워크와 함께 역전파를 통해 동시에 최적화된다.

생성된 MCG는 GCN에 입력되어 메시지 전달을 수행한다. GCN는 A(c)M 과 에이전트 관측 행렬 X 를 이용해 H^(ℓ+1)=σ(A(c)M·H^(ℓ)·W^(ℓ)) 로 업데이트되며, 여러 레이어를 쌓아 에이전트별 고차원 임베딩을 얻는다. 이러한 임베딩은 이후 개별 Q‑network 혹은 정책 네트워크에 연결돼, Q‑tot 을 CG‑형식으로 factorization한다(개별 유틸리티 Q_i 와 쌍별 보상 Q_ij 를 포함). 따라서 DMCG는 전통적인 CG의 구조적 장점(지역 상호작용을 명시적으로 모델링, IGM 원칙 유지)과 최신 GNN 기반 암시적 그래프의 유연성을 동시에 갖는다.

실험에서는 StarCraft II 미니게임, Pursuit, Lift 등 협조가 핵심인 벤치마크에서 DMCG가 QMIX, VDN, DCG, DICG 등 최신 방법들을 전반적으로 앞선 평균 승률과 빠른 수렴 속도를 보였다. 특히 “두 명이 동시에 행동해야 보상이 발생한다”는 유형의 미스코디네이션 문제가 있는 환경에서 메타 그래프가 동적으로 관계를 강화해 성능 향상이 두드러졌다. Ablation study에서는 (1) 기본 그래프 수 K, (2) 합성 레이어 L, (3) 채널 수 C, (4) 그래프와 가치 함수 공동 학습 여부 등을 변형했을 때 성능 저하를 확인함으로, 각 구성 요소가 상호보완적으로 작용함을 입증했다.

복잡도 분석에서는 기본 그래프 K와 채널 C가 O(K·C·n²) 의 메모리를 요구하지만, 실제 구현에서는 sparse 연산과 공유 파라미터를 활용해 실시간 로봇 제어 수준의 연산량으로 제한할 수 있음을 보였다. 또한, 메타 그래프 학습이 에이전트 수가 늘어나도 선형적으로 스케일링되는 점을 강조한다.

전반적으로 DMCG는 (1) 동적이고 다중 유형의 상호작용을 학습, (2) 그래프 구조와 정책을 공동 최적화, (3) 기존 CG 기반 방법의 해석 가능성을 유지하면서도 표현력을 크게 확대한다는 점에서 MARL 분야에 의미 있는 진보를 제공한다.