마음 인식 기반 다중 에이전트 관리 강화학습

초록

**
본 논문은 자기 이익을 추구하는 워커 에이전트들의 선호·능력·의도를 추정하고, 매니저가 계약(목표·보너스)을 통해 이들을 동기부여해 협업하도록 학습하는 프레임워크 M³RL을 제안한다. 워커의 ‘마음’을 온라인으로 모델링하고, 고수준 후계자 표현(SR)과 ε‑greedy 탐색을 결합한 강화학습으로 최적 계약 정책을 학습한다. 두 개의 2D Minecraft‑유사 환경(Resource Collection, Crafting)에서 실험한 결과, 제안 방법이 워커의 마음을 정확히 추정하고, 급변하는 팀 구성과 새로운 환경에서도 빠르게 적응하며 전체 생산성을 극대화함을 보였다.

**

상세 분석

**
M³RL은 기존 MARL이 “공통 보상을 직접 최적화”하는 접근과 달리, 주체가 서로 다른 목표와 비용 구조를 가진 에이전트들을 관리하는 문제를 다룬다. 핵심 아이디어는 매니저가 계약(contract) 형태로 워커에게 목표와 보너스를 제시하고, 워커는 자신의 **선호(preference)**와 보너스를 고려해 계약을 수락하거나 거부한다. 워커의 행동은 두 단계로 모델링된다. 첫째, **의도(intention)**는 현재 목표를 선택하는 과정이며, 이는 순수히 선호에 기반하거나 보너스를 포함한 효용을 최대화하는 방식으로 정의된다. 둘째, **스킬(skill)**은 상태 전이 확률과 목표‑조건화 정책 πᵢ에 의해 결정된다. 매니저는 워커의 마음(mind)—즉, 선호·의도·스킬—을 직접 관찰할 수 없으므로, **성능 히스토리(history)**와 **마인드 트래커(mind tracker)**를 이용해 추정한다.

성능 히스토리는 각 워커‑목표‑보너스 조합에 대한 성공 확률 ρₜᵢᵍᵇ 를 누적해 만든 행렬이며, 이를 UCB‑스타일로 업데이트한다. 이 히스토리를 플래튼하고 LSTM 인코더에 입력해 hᵢ 라는 고정 길이 표현을 만든다. 마인드 트래커는 현재 에피소드에서 수집된 (상태, 행동, 계약) 시퀀스를 입력으로 받아, 워커의 내부 상태 mᵢₜ 를 추정한다. 이 두 정보를 합쳐 cₜ₊₁ = C({(sᵢₜ₊₁, mᵢₜ, hᵢ)}) 로 컨텍스트를 구성하고, 이를 기반으로 목표 정책(πᵍ) 과 보너스 정책(πᵇ) 를 각각 독립적인 신경망으로 학습한다.

학습 최적화는 고수준 후계자 표현(SR) 을 활용한다. SR은 현재 상태와 목표에 대한 장기 기대 보상을 분해해, 목표 선택 시 필요한 장기 가치 추정을 빠르게 제공한다. 또한, 에이전트‑별 ε‑greedy 탐색을 도입해, 특정 워커에 대해 더 많은 탐색을 수행함으로써 그들의 행동 모델을 정밀하게 파악한다.

실험은 두 가지 시뮬레이션 환경에서 진행되었다. Resource Collection에서는 여러 종류의 자원을 채집해야 하고, Crafting에서는 자원을 조합해 복합 아이템을 만들며, 두 환경 모두 작업 의존성(task dependency) 과 희소 보상(sparse reward) 를 포함한다. 워커는 사전 정의된 스킬·선호 프로파일을 갖지만, 매니저는 이를 알 수 없으며, 워커는 계약을 속이거나 목표를 달성하지 못하는 속임수(deceptive) 행동도 가능하도록 설계되었다.

결과는 다음과 같다. (1) 마인드 트래커는 워커의 실제 선호와 스킬을 90% 이상 정확도로 추정했으며, (2) 계약 정책은 보너스를 최소화하면서도 목표 달성률을 30% 이상 향상시켰다. 특히, 팀 구성이 바뀌거나 새로운 워커 유형이 등장했을 때도 기존에 학습된 정책을 빠르게 재사용해 510 에피소드 내에 성능이 회복되었다. (3) Ablation 실험에서 SR, ε‑greedy, 히스토리 모듈을 각각 제거하면 전체 보상이 1525% 감소함을 확인했다. 이는 각 구성 요소가 온라인 마음 추정, 효율적 탐색, 장기 가치 예측에 필수적임을 의미한다.

이 논문은 경제학의 principal‑agent 문제와 기계학습의 메커니즘 디자인을 연결하는 중요한 시도이며, 다수의 자율적 에이전트를 관리해야 하는 로봇 협업, 클라우드 작업 스케줄링, 게임 AI 등 실용적 도메인에 직접 적용 가능성을 보여준다.

**