오프라인 가치 기억과 순차 탐색을 활용한 다중에이전트 강화학습

초록

본 논문은 오프라인‑온라인 전이 과정에서 발생하는 Q‑값 소실과 방대한 공동 행동 공간 탐색 문제를 해결하기 위해, 오프라인 가치 함수 메모리(OVM)와 분산형 순차 탐색(SE) 두 가지 메커니즘을 결합한 OVMSE 프레임워크를 제안한다. SMAC 벤치마크에서 기존 O2O MARL 방법들을 크게 앞서며 샘플 효율성과 최종 성능을 동시에 향상시킨다.

상세 분석

OVMSE는 다중에이전트 환경에서 오프라인‑온라인 전이를 매끄럽게 만들기 위해 두 핵심 아이디어를 도입한다. 첫 번째인 Offline Value Function Memory(OVM)는 오프라인 단계에서 학습된 Q‑함수 (\bar Q_{\text{offline}})를 메모리 형태로 보존하고, 온라인 학습 시 목표 Q‑값을 “오프라인 메모리와 온라인 TD‑target 중 큰 값”으로 정의한다. 이때 손실 함수는 (\lambda_{\text{memory}})라는 가중치를 통해 두 목표 사이의 균형을 조절하며, 학습 진행에 따라 (\lambda_{\text{memory}})를 점진적으로 감소시키는 annealing 스케줄을 적용한다. 결과적으로 초기 온라인 단계에서 오프라인에서 얻은 가치 정보를 강하게 유지하면서도, 새로운 경험에 의해 가치가 상승할 경우 이를 빠르게 반영한다. 이는 기존 O2O MARL에서 관찰된 Q‑값 급락 현상을 효과적으로 억제한다.

두 번째 기여인 Sequential Exploration(SE)은 전통적인 (\epsilon)-greedy 방식이 모든 에이전트가 동시에 무작위 행동을 선택함으로써 공동 행동 공간을 무차별 탐색하게 되는 비효율성을 개선한다. SE는 매 타임스텝마다 탐색 여부를 (\epsilon_t)에 따라 결정하고, 탐색이 선택되면 무작위 행동을 수행하는 에이전트를 하나만 선택한다. 나머지 에이전트는 현재 정책을 그대로 따르므로, 탐색이 제한된 차원(에이전트 하나)에서만 이루어져 공동 행동 공간의 탐색 차원을 (N)배 감소시킨다. 이 방식은 중앙집중식이 아니라 분산형으로 구현되어 실제 실행 시 통신 오버헤드가 거의 없으며, 오프라인에서 학습된 정책을 기반으로 목표 지향적 탐색을 가능하게 한다.

알고리즘 1에 정리된 바와 같이 OVM과 SE는 서로 독립적으로 적용 가능하지만, 논문에서는 두 메커니즘을 동시에 사용했을 때 시너지 효과가 가장 크게 나타난다. 실험에서는 SMAC의 Easy, Hard, Super‑Hard 맵을 대상으로 QMIX 기반 구현체에 OVMSE를 적용했으며, MA‑CQL, MACQL, 그리고 기존 O2O MARL 방법(예: Offline‑Online Hybrid) 대비 평균 승률이 5~12%p 상승하고, 1M 환경 스텝당 성능 향상률이 두 배 이상이었다. 특히 초기 10k 스텝 구간에서 Q‑값 유지가 눈에 띄게 개선되어, “unlearning” 현상이 거의 관찰되지 않았다.

한계점으로는 OVM의 메모리 가중치 (\lambda_{\text{memory}})와 annealing 파라미터 선택이 환경에 따라 민감하게 작용한다는 점이다. 또한 SE는 한 번에 하나의 에이전트만 탐색하도록 설계돼, 탐색이 필요한 상황(예: 협동적 협상)에서는 탐색 속도가 다소 느려질 수 있다. 향후 연구에서는 자동화된 메모리 가중치 스케줄링 및 다중 에이전트 동시 탐색을 위한 계층적 SE 전략을 탐색할 필요가 있다.