프리즘: 스펙트럼 기반 파라미터 공유로 다중 에이전트 강화학습의 다양성과 효율성 동시 달성

초록

프리즘은 공유 신경망을 특이값 분해(SVD) 형태로 표현하고, 모든 에이전트가 동일한 좌·우 특이벡터를 공유하면서 각자 고유한 스펙트럼 마스크를 학습하도록 설계하였다. 이를 통해 에이전트 간 행동 다양성을 확보함과 동시에 파라미터 수와 메모리 사용량을 크게 줄인다. LBF·SMACv2와 MaMuJoCo 벤치마크에서 기존 파라미터 공유·다양성 기법들을 능가하는 성능과 자원 효율성을 보였다.

상세 분석

프리즘은 기존 MARL에서 파라미터 공유가 초래하는 동질성 문제를 스펙트럼 공간에서 해결한다는 점이 핵심이다. 먼저, 공유 네트워크의 가중치를 (W\in\mathbb{R}^{d\times k}) 를 (W=U\Sigma V^\top) 로 SVD 분해하고, (U)와 (V)를 모든 에이전트가 공동으로 사용한다. 여기서 (\Sigma)는 특이값 벡터이며, 각 에이전트는 학습 가능한 마스크 (m_i) 를 통해 (\Sigma_i = \Sigma_{\text{common}} \oplus (\Sigma_{\text{separate}}\odot m_i)) 로 변형한다. 즉, 공통 스펙트럼은 전체 에이전트가 공유하고, 별도 스펙트럼은 마스크에 의해 선택적으로 강조되거나 억제된다. 마스크는 ReLU와 sigmoid‑threshold 조합으로 정의돼 연속적인 미분 가능성을 유지하면서도 이진화된 형태((\tilde m_i))를 통해 다양성 정규화에 활용한다.

다양성 정규화는 (\sum_{i\neq j}|\Sigma_{\text{separate}}\odot(\tilde m_i-\tilde m_j)|_1) 로 구현돼, 서로 다른 에이전트가 서로 다른 특이값 서브스페이스를 차지하도록 강제한다. 이때 STE( Straight‑Through Estimator)를 사용해 비미분 연산을 근사한다. 또한, (U)와 (V)가 직교성을 잃는 것을 방지하기 위해 (|U^\top U - I|_F^2 + |VV^\top - I|_F^2) 형태의 orthogonal regularization을 추가한다. 이러한 두 정규화는 스펙트럼 마스크가 과도하게 겹치지 않게 하고, 학습 과정에서 SVD 구조가 붕괴되는 것을 막는다.

실험에서는 QMIX 기반 LBF·SMACv2와 MA‑TD3 기반 MaMuJoCo를 사용해, 완전 공유(FuPS), 클러스터 기반(SePS), 노드/에지 마스킹(SNP, Kaleidoscope) 등 다양한 베이스라인과 비교하였다. 동질성이 요구되는 LBF·SMACv2에서는 FuPS가 기본적으로 높은 샘플 효율을 보였지만, 프리즘은 마스크를 통해 필요한 경우 미세한 차이를 도입해 성능을 약간 상회했다. 이질적인 MaMuJoCo에서는 에이전트마다 서로 다른 물리적 역할이 필요하므로, 프리즘의 스펙트럼 다양성이 크게 발휘돼 기존 마스킹 기법보다 높은 평균 보상을 기록했다.

자원 효율성 측면에서는 파라미터 수가 에이전트 수에 거의 비례하지 않으며, 동일한 메모리 예산 하에서도 프리즘이 다른 방법보다 높은 성능을 유지한다는 점이 강조된다. 특히, 파라미터 예산을 제한한 실험에서 프리즘은 30~40% 적은 파라미터로도 경쟁력 있는 결과를 얻었다.

Ablation 연구에서는 (1) 마스크 없이 순수 SVD 공유, (2) 다양성 정규화 제거, (3) orthogonal 정규화 제거 등 세 가지 변형을 테스트했으며, 각각이 성능 저하를 초래함을 확인했다. 이는 스펙트럼 마스크와 두 정규화가 모두 필수적임을 시사한다.

전반적으로 프리즘은 “공유 → 스펙트럼 → 마스크”라는 3단계 구조를 통해 파라미터 공유의 장점은 유지하면서 에이전트 간 행동 다양성을 효과적으로 촉진한다. 이는 향후 대규모 다중 로봇, 교통 제어, 게임 AI 등에서 스케일러블하면서도 개별화된 정책 학습에 적용 가능성을 열어준다.