동적 클러스터 합의를 활용한 분산 강화학습 기반 다중 자원 할당

초록

**
본 논문은 다중 에이전트가 이질적인 자원을 분산적으로 할당하도록 설계된 LGTC‑IPPO(Liquid‑Graph‑Time Clustering‑IPPO) 방법을 제안한다. 독립형 PPO에 동적 클러스터 합의 메커니즘을 결합해 에이전트가 자원 수요에 따라 자동으로 소규모 팀을 형성·재구성하도록 하며, 전역 정보를 최소화하면서 확장성을 확보한다. 실험에서는 다양한 팀 규모와 자원 유형에 대해 기존 MARL 기법 및 중앙집중식 전문가 정책과 비교했을 때 보상 안정성, 협조 효율, 그리고 방전형 자원 재배치 능력에서 우수함을 입증한다.

**

상세 분석

**
이 논문은 다중 에이전트·다중 자원 할당 문제를 Dec‑POMDP 형태로 정형화하고, 기존의 CTDE(centralized training decentralized execution) 기반 MARL 접근법이 겪는 전역 상태 의존성·신용 할당 문제를 회피하기 위해 완전한 분산 학습 프레임워크를 채택한다는 점에서 의미가 크다. 핵심 기여는 ‘동적 클러스터 합의’를 가치 함수에 직접 통합한 점이다. 구체적으로, 각 에이전트는 자신이 관찰한 자원·위치 정보를 DeepSets 로 집계하고, 그래프 필터(인접 행렬 기반)와 어텐션 메커니즘을 통해 소비자 특성을 가중합한다. 이 과정에서 생성된 어텐션 행렬 Ξ는 현재 클러스터 상태를 반영하므로, 에이전트들은 실시간으로 가장 관련성이 높은 소비자 그룹에 집중한다.

가치 함수는 클러스터별 합의값을 공유함으로써 신용 할당을 자연스럽게 해결한다. 즉, 동일 클러스터에 속한 에이전트들은 동일한 가치 추정치를 사용하므로, 개별 에이전트가 자신의 행동이 전체 클러스터에 미치는 영향을 명시적으로 학습한다. 이는 VDN·QMIX와 달리 하위 그룹 보상을 별도로 모델링할 수 있게 해준다.

보상 설계 역시 다층 구조를 취한다. 전역 보상 rw_g는 전체 수요 감소량을 직접 측정하고, 지역 보상 rw_ij은 충돌 회피를 위한 거리 기반 페널티, 즉시 자원 방출 보상 rw_im, 지속형 자원 보상 rw_is, 그리고 클러스터 목표 달성 보상 rw_rc 등을 포함한다. 특히, 할당 행렬 a 를 MIQP 로 최적화한 뒤 이를 기반으로 위치 기반 보상 rw_id 를 부여함으로써, 에이전트가 올바른 소비자에 접근했을 때 추가적인 학습 신호를 제공한다.

신경망 구조는 정책망과 가치망을 동일한 아키텍처로 공유하고, 그래프 신경망‑ODE 형태의 동적 시스템(식 6)을 도입해 수렴성을 이론적으로 보장한다. Theorem 1에 따르면, 바이어스와 그래프 라플라시안의 무한 노름이 일정 조건을 만족하면 시스템은 무한소 수축성을 갖고 상태가