다중 에이전트 강화학습을 위한 균형 선택 통합 프레임워크

초록

본 논문은 다중 에이전트 강화학습(MARL)에서 존재하는 다수의 마코프 완전균형(MPE) 중 사회복지를 높이는 균형을 선택하도록 설계된 배우‑비평가(actor‑critic) 구조를 제안한다. 비평가는 각 상태‑행동 쌍에 대한 Q‑함수를 학습하고, 배우는 정상형 게임에서 검증된 확률적 안정성(스톡캐스틱 스테이빌리티) 기반 균형 선택 규칙을 적용해 정책을 업데이트한다. 이 접근법은 마코프 잠재게임(MPG)에서는 잠재함수 최대화 정책을, 일반 합게임에서는 파레토 최적 MPE를 스톡캐스틱 안정성 관점에서 보장한다.

상세 분석

이 연구는 두 가지 핵심 아이디어를 결합한다. 첫째, 스토캐스틱 게임의 각 시점(state)과 단계(horizon)에서 현재 정책 π가 정의하는 Q‑함수 Qᵢ,ₕ(s,a) 를 이용해 그 시점의 정상형 게임을 구성한다는 점이다. 즉, Q값을 “즉시 보상”처럼 취급해 각 에이전트가 자신의 행동을 선택하도록 하면, 그 상태‑게임의 균형 구조가 정상형 게임의 균형 구조와 동일하게 된다. 둘째, 정상형 게임에서 널리 연구된 로그선형 학습(log‑linear learning)이나 콘텐츠‑디스콘텐츠 모드 전이(dynamic)와 같은 확률적 학습 규칙을 그대로 적용한다는 점이다. 이러한 규칙은 작은 실수(ε) 확률을 도입해 마코프 체인을 에르고딕하게 만들고, ε→0 일 때 스톡캐스틱 스테이빌리티 이론에 의해 특정 균형만이 장기적으로 안정(stochastically stable)하게 된다. 논문은 이 두 아이디어를 “배우‑비평가” 구조에 매핑한다. 비평가가 샘플 경로를 통해 Q값을 추정하고, 배우는 현재 Q값을 입력으로 받아 미리 정의된 정상형 게임 학습 규칙을 실행한다. 이때 배우는 각 상태‑시점마다 독립적인 정상형 게임을 풀어 정책을 갱신하므로, 전체 마코프 게임에 대한 정책 업데이트가 단계별로 이루어진다.

이 프레임워크의 이론적 기여는 다음과 같다. (1) 에르고딕성 및 저항(resistance) 구조 가정 하에, 스톡캐스틱 안정성 결과를 마코프 게임에 그대로 전이함을 증명한다. 즉, 정상형 게임에서 잠재함수(potential) 최대화 균형을 선택하는 로그선형 학습을 적용하면, 마코프 잠재게임에서는 전체 게임의 잠재함수 Φ를 최대화하는 정책이 스톡캐스틱 안정적인 정책이 된다. (2) 일반 합게임에서는 파레토 최적성을 보장하는 학습 규칙(