협동 탐색을 위한 반사실 조건부 가능성 보상

초록

본 논문은 다중 에이전트 시스템에서 개별 에이전트가 중복 없이 팀 전체의 탐색에 기여하도록 설계된 새로운 내재 보상인 Counterfactual Conditional Likelihood(CCL) 보상을 제안한다. 각 에이전트의 관측을 무작위 인코더로 임베딩하고, 실제 관측과 이전 시점 관측을 이용한 반사실 상황을 비교해 조건부 로그 가능도를 추정한다. 실험 결과 CCL 보상은 희소한 팀 보상이 주어지는 연속 환경에서 학습 속도를 크게 높이고, 협동 행동을 더 효과적으로 형성한다.

상세 분석

CCL 보상의 핵심 아이디어는 “각 에이전트가 공동 관측에 얼마나 독특한 정보를 추가했는가”를 정량화하는 것이다. 이를 위해 저자들은 (1) 각 에이전트의 로컬 관측 o_i^t 를 고정 차원의 무작위 인코더 φ 로 변환해 z_i^t 를 얻고, (2) 모든 z_i^t 를 연결해 팀의 공동 임베딩 z^t 를 만든다. 실제 공동 임베딩과 반사실 공동 임베딩(에이전트 i 의 현재 관측을 이전 관측 o_i^{t‑1} 로 대체한 ˜z^{(i)}t)을 각각 k‑NN 기반 밀도 추정으로 로그 가능도 p(o_i^t|o{-i}^t)와 p(˜o_i^t|o_{-i}^t) 를 근사한다. 여기서 공유 반경 ε_shared = max(ε_act, ε_cfact) 를 사용해 두 경우의 이웃 수 n_act, n_cfact 를 동일한 지역에서 셈으로써 추정의 편향을 감소시킨다. 최종 CCL 보상 r_i^{CCL}=ψ(n_act+1)−ψ(n_cfact+1) 은 digamma 함수 ψ 를 통해 로그 가능도의 차이를 근사한다.

이 설계는 기존의 엔트로피 기반 탐색(OEM)과 차별화된다. OEM은 개별 관측의 다양성만을 장려해 에이전트 간 중복 탐색을 초래한다. 반면 CCL은 공동 관측 공간에서의 조건부 확률 변화를 측정함으로써, 한 에이전트가 다른 에이전트와 상관관계가 높은 새로운 상태를 발견했을 때만 보상을 부여한다. 따라서 협동이 필수적인 “협동 영역”을 우선 탐색하게 된다.

알고리즘적 측면에서 CCL은 (a) 무작위 인코더 사용으로 복잡한 공동 임베딩 학습을 회피하고, (b) k‑NN 기반 밀도 추정으로 비정형 연속 관측에도 적용 가능하도록 설계되었다. 또한 CTDE(중앙집중식 훈련·분산 실행) 프레임워크 내에서 MAPPO와 LSTM 기반 정책을 사용해, 학습 시에는 전체 관측을 활용하고 실행 시에는 로컬 관측만으로 행동한다. 실험에서는 CCL만 적용했을 때와 로컬 OEM과 결합했을 때를 비교했으며, 특히 에이전트 수가 늘어나고 보상이 매우 희소한 환경에서 CCL이 학습 수렴 속도와 최종 성능을 크게 향상시키는 것을 확인했다.

이 논문은 (1) 비정형 연속 다중 에이전트 환경에서 내재 보상을 설계하는 새로운 패러다임을 제시하고, (2) 반사실 조건부 가능성이라는 통계적 개념을 활용해 개별 기여도를 정확히 측정함으로써 중복 탐색을 최소화한다는 점에서 의미가 크다. 또한 무작위 인코더와 k‑NN 기반 추정이라는 비교적 단순한 구현 방식에도 불구하고, 비정상성 문제를 완화하고 안정적인 보상 신호를 제공한다는 실증적 증거는 향후 다중 로봇 탐사, 재난 대응 등 실제 적용 분야에 큰 기대를 모은다.