다중 에이전트 시스템에서 정책 표현 학습

초록

본 연구는 다중 에이전트 시스템에서 에이전트의 행동을 모델링하기 위한 일반적인 학습 프레임워크를 제안합니다. 도메인별 사전 지식 없이 소량의 상호작용 데이터만을 사용하여, 모방 학습과 에이전트 식별에서 영감을 받은 새로운 목적 함수를 통해 에이전트 정책의 표현을 비지도 학습합니다. 경쟁적 연속 제어 환경과 협력적 통신 환경에서 실험을 통해, 학습된 표현이 지도 예측, 비지도 클러스터링, 정책 최적화 등 다운스트림 작업에 유용함을 입증합니다.

상세 분석

이 논문의 핵심 기술적 기여는 다중 에이전트 시스템(MAS)에서 에이전트 정책을 표현하는 임베딩 벡터를 비지도 방식으로 학습하는 새로운 프레임워크를 제안한 점입니다. 기존 연구가 특정 작업에 국한되고 도메인 지식에 의존했다는 한계를 극복하고, 표현 학습 문제로 재정의함으로써 일반화된 접근법을 제시합니다.

주요 방법론은 생성적 목표와 판별적 목표를 결합한 하이브리드 목적 함수입니다. 생성적 측면에서는 조건부 정책 네트워크를 통해, 한 에이전트의 다른 상호작용 에피소드 임베딩을 조건으로 주어 해당 에이전트의 행동을 모방하도록 학습합니다(모방 학습). 이는 단일 조건부 정책 네트워크를 모든 에이전트에 공유함으로써 통계적 효율성과 모델링 유연성의 딜레마를 해결합니다. 판별적 측면에서는 트리플렛 손실을 도입하여, 동일 에이전트의 서로 다른 에피소드 임베딩은 가깝게, 다른 에이전트의 임베딩은 멀게 만드는 에이전트 식별 목표를 설정합니다.

이 프레임워크의 강점은 ‘에이전트-상호작용 그래프’ 개념을 도입하여 일반화 성능을 체계적으로 평가한다는 점입니다. 약한 일반화(기존 에이전트 간 새로운 상호작용)와 강한 일반화(새로운 에이전트) 시나리오를 명확히 구분하고, 각각에 대한 실험적 검증을 수행합니다. 실험 결과, 학습된 표현은 단순한 클러스터링을 넘어, 경쟁 환경에서는 상대방 임베딩을 조건으로 한 정책이 빠른 학습과 높은 승률을 달성하고, 협력 환경에서는 화자의 효율적인 통신 범위를 확장시키는 등 강화학습 정책 최적화에 ‘특권 정보’로 효과적으로 활용될 수 있음을 보여줍니다. 이는 비지도 표현 학습이 다중 에이전트 시스템의 복잡한 문제 해결에 실질적인 도구가 될 수 있음을 시사하는 중요한 결과입니다.