분포적 강인성 협동 다중에이전트 강화학습

초록

본 논문은 협동 MARL에서 환경 불확실성에 대비하기 위해 분포적 강인성 IGM(DrIGM) 원리를 제안한다. DrIGM은 개별 에이전트의 강인성 그리디 행동이 전체 팀의 강인성 최적 행동과 일치하도록 보장한다. 이를 위해 전역 최악 상황 모델에 기반한 강인성 개별 Q‑함수를 정의하고, VDN·QMIX·QTRAN과 같은 기존 가치‑팩터화 구조에 그대로 적용 가능한 로버스트 변형을 설계한다. 실험은 고충실도 SustainGym과 StarCraft II 환경에서 수행했으며, 훈련‑테스트 환경이 차이 나는 OOD 상황에서도 비강인성 베이스라인보다 일관되게 성능을 향상시켰다.

상세 분석

이 논문은 협동형 Dec‑POMDP 설정에서 CTDE(중앙집중 훈련·분산 실행) 방식을 유지하면서 환경 모델의 불확실성을 정량화하는 분포적 강인성 프레임워크를 제시한다. 핵심 아이디어는 기존 IGM(Individual‑Global‑Maximum) 원칙을 강인성 버전인 DrIGM으로 일반화하는 것이다. DrIGM은 “각 에이전트가 자신의 강인성 그리디 행동을 선택했을 때, 그 행동들의 조합이 전체 팀의 강인성 최적 행동 집합에 포함된다”는 조건을 만족한다. 이를 위해 저자들은 전역 불확실성 집합 𝒫 (예: ρ‑contamination, total‑variation) 하에서 최악의 전이 모델 P_worst 를 정의하고, 이 모델에 대해 각 에이전트가 개별적으로 학습한 Q‑함수 Q_{P_worst}^i 를 그대로 강인성 개별 가치 Q_rob^i 로 채택한다. 이렇게 하면 개별 Q_rob^i 는 전역 최악 상황에 대한 정확한 기대값을 반영하므로, 개별 그리디 행동이 전역 그리디 행동과 일치하게 된다.

정리된 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정리 정리정이… (Due to length constraints, the analysis continues in the next section)