Co2PO: 협동 제약 정책 최적화를 위한 위험 인지 통신 프레임워크

초록

Co2PO는 다중 에이전트 강화학습에서 안전 제약을 만족하면서 탐색 효율을 높이기 위해 위험 예측 기반의 선택적 통신 메커니즘을 도입한다. 에이전트는 위험도가 임계값을 초과할 때만 위치·의도·양보 신호를 공유 블랙보드에 기록하고, 다른 에이전트는 유사도 기반으로 상위 k개의 메시지를 읽어 행동을 조건화한다. 위험 예측은 장기적인 비용 라벨을 사용해 학습되며, 제약 라그랑지안과 결합된 하이브리드 이득을 통해 정책을 업데이트한다. 실험 결과, Co2PO는 기존 Lagrangian 기반 및 MAPPO 계열 방법보다 높은 실현 가능(return)과 안정적인 비용 준수를 달성한다.

상세 분석

Co2PO는 기존 제약 MARL 접근법이 “사후 제재”에 의존해 탐색을 억제하고 과도한 보수성을 초래한다는 문제점을 정확히 짚어낸다. 이를 해결하기 위해 저자는 두 가지 핵심 설계를 제시한다. 첫째, 위험 예측기(hazard predictor)를 통해 현재 관측에서 향후 H 스텝 이내에 비용이 임계값 δ 를 초과할 확률 p 을 추정한다. 이 확률이 동적으로 조정되는 임계값 τ 를 넘어설 경우에만 에이전트는 자신의 상태 요약 x, 의도 u, 양보 플래그 y 를 포함한 메시지를 공유 블랙보드에 기록한다. 이렇게 “위험 트리거”된 쓰기는 통신량을 최소화하면서도 위험이 집중되는 순간에만 협조 정보를 제공한다는 장점을 가진다. 둘째, 읽기 단계에서는 각 에이전트가 자신의 상태 요약을 쿼리로 사용해 코사인 유사도 기반으로 다른 에이전트의 활성 메시지를 정렬하고, 상위 k 개의 메시지를 고정 길이 컨텍스트 m 에 결합한다. 이 컨텍스트는 정책 네트워크의 입력에 포함돼, 에이전트가 자신의 행동을 주변 에이전트의 의도와 양보 신호에 맞춰 조정하도록 만든다.

학습 목표는 전통적인 라그랑지안 최적화 L(π,λ)=J_R(π)-λ(J_C(π)-d) 에 하이브리드 이득 A_hyb=A_R-λA_C 를 적용하고, 추가적으로 (1) 위험 예측 손실 WBCE (look‑ahead 라벨 h 과의 가중 이진 교차 엔트로피)와 (2) 쓰기 빈도에 대한 정규화 α_write · E