다중에이전트 강화학습을 위한 주의 기반 교차 컨텍스트 정책

초록

본 논문은 모든 에이전트가 동일한 정책 네트워크를 공유하면서, 자기‑주의 메커니즘을 통해 다른 에이전트의 상태 정보를 동적으로 집계하도록 설계한 새로운 정책 구조를 제안한다. 이를 통해 에이전트 수가 변동하는 환경에서도 단일 정책으로 학습·실행이 가능하며, 자동차량 병합 시뮬레이션에서 중앙집중식 기준보다 우수한 성능을 보였다.

상세 분석

이 연구는 다중에이전트 강화학습(MARL)에서 흔히 발생하는 “에이전트 수 가변성”과 “분산 실행” 문제를 근본적으로 해결하고자 한다. 기존 접근법은 각 에이전트마다 별도 정책을 학습하거나, 중앙집중식 critic을 이용해 모든 에이전트 정보를 한 번에 처리한다. 그러나 전자는 파라미터 수가 급증하고, 후자는 실행 단계에서 통신 비용과 확장성 한계가 있다. 저자들은 이러한 한계를 극복하기 위해 ‘관계적 귀납적 편향(relational inductive bias)’의 일종인 주의(attention)를 정책 네트워크 자체에 도입한다. 구체적으로, 각 에이전트는 자신의 관측 o_i와 다른 에이전트들의 관측 집합 {o_j}를 입력으로 받아, 스케일드 닷-프로덕트(self‑attention)와 다중 헤드 메커니즘을 통해 가중합된 표현 h_i^out을 만든다. 여기서 edge class c(i,j) 를 이용한 상대 위치 임베딩(a_c^K, a_c^V)을 포함시켜, “앞차와 뒤차”, “동일 차선”, “다른 차선” 등 관계 유형을 구분하도록 설계하였다. 이 설계는 (i) 동일한 파라미터 θ 로 모든 에이전트가 공유되므로 파라미터 효율성이 높고, (ii) 에이전트 수가 변해도 입력 텐서의 크기만 동적으로 변하면 되므로 패딩이나 트렁케이션 없이 학습이 가능하다는 장점을 제공한다.

학습 측면에서는 기존 싱글‑에이전트 RL 알고리즘(PPO, DDPG 등)을 그대로 적용할 수 있다. 정책 π_θ는 위의 주의 레이어 뒤에 MLP를 두어 행동 분포를 출력하고, 가치 함수 V_θ 역시 동일한 구조(공유된 주의 레이어 + 별도 헤드)로 구현한다. 중앙집중식 critic이 필요 없으며, 각 에이전트가 자체적으로 다른 에이전트 정보를 ‘주의’함으로써 협조적 행동을 학습한다. 이는 기존 중앙집중식 critic‑based 방법이 갖는 비대칭성(critic은 복잡하지만 actor는 단순)과 달리, actor와 critic 모두 동일한 구조를 공유함으로써 구현 복잡성을 크게 낮춘다.

실험에서는 Vinitzky et al. (2018)의 “Merge” 시나리오를 사용하였다. 두 개의 단일 차선이 하나로 합류하는 구간에서 인간 운전 차량과 제어 가능한 자동차가 혼재한다. 목표는 자동차가 교통 혼잡을 최소화하도록 가속·감속을 제어하는 것이다. 저자들은 (1) 완전 중앙집중식 정책(모든 관측을 하나의 벡터에 합쳐 MLP에 입력)과 (2) 제안된 주의 기반 교차‑컨텍스트 정책을 비교했다. 결과는 주의 기반 정책이 평균 충돌 횟수, 평균 대기 시간, 총 보상 측면에서 중앙집중식 기준을 능가했으며, 특히 에이전트 수가 30% 이상 증가했을 때 성능 격차가 크게 확대되었다. 이는 주의 메커니즘이 동적으로 중요한 주변 에이전트를 강조하고, 불필요한 정보를 자동으로 억제함으로써 스케일링 효율을 확보한다는 것을 시사한다.

또한, 정책이 동일함에도 불구하고 실행 단계에서 완전 분산 형태로 동작할 수 있음을 시연하였다. 각 차량은 자신의 관측과 주변 차량의 관측만을 로컬하게 수집하고, 동일한 신경망 가중치를 이용해 행동을 결정한다. 이는 실제 교통 시스템에 적용할 때 통신 비용을 최소화하고, 시스템 복원력을 높이는 실용적 장점을 제공한다.

한계점으로는 (i) 현재 실험이 시뮬레이션 기반이며, 실제 센서 노이즈와 통신 지연을 고려하지 않았다는 점, (ii) edge class 정의가 도메인에 따라 수작업으로 지정돼야 한다는 점, (iii) 매우 큰 에이전트 집합에서의 계산 복잡도(O(|I|²) attention) 문제가 있다. 향후 연구에서는 근사주의(예: 샘플링 기반, 로컬 윈도우)와 자동 edge class 학습을 결합해 확장성을 더욱 강화할 수 있을 것이다.

요약하면, 이 논문은 정책 수준에서의 자기‑주의 구조를 도입함으로써 다중에이전트 강화학습에서 파라미터 효율성, 스케일링, 분산 실행이라는 세 가지 핵심 요구를 동시에 만족시키는 새로운 설계 패러다임을 제시한다.