양자 얽힘을 활용한 다중 에이전트 강화학습 협조 전략

초록

본 논문은 통신이 금지된 다중 에이전트 환경에서 공유된 양자 얽힘을 이용해 정책을 상호 조정하는 새로운 프레임워크를 제안한다. 차별화된 미분가능 정책 파라미터화와 QuantumSoftmax 변환을 통해 양자 측정을 직접 최적화하고, 양자 코디네이터와 로컬 액터로 구성된 아키텍처를 도입한다. 단일 라운드 비국소 게임에서 알려진 양자 우위를 재현하고, 이를 Dec‑POMDP 형태의 다중 라우터·멀티서버 큐잉 문제에 적용해 순차적 의사결정에서도 양자 우위를 달성한다.

상세 분석

이 연구는 기존의 공유 랜덤성(Shared Randomness) 기반 정책 클래스가 표현할 수 있는 상관관계의 한계를 양자 얽힘(Shared Entanglement)으로 확장한다는 점에서 혁신적이다. 논문은 먼저 정책 공간을 Π_F(분해 가능 정책), Π_SR(공유 랜덤성 정책), Π_Q(공유 양자 얽힘 정책), Π_NS(비신호 정책) 순으로 포함 관계를 정리하고, Π_Q가 Π_SR을 엄격히 초월함을 이론적으로 입증한다. 핵심 기술은 ‘QuantumSoftmax’ 알고리즘으로, 임의의 복소수 행렬을 양자 측정 연산자(POVM)로 변환하는 미분가능 변환이다. 이를 통해 정책 그래디언트 방법을 그대로 적용하면서도 측정 연산자의 파라미터를 연속적으로 업데이트할 수 있다. 또한, 정책을 ‘양자 코디네이터 + 로컬 액터’ 구조로 분리함으로써, 코디네이터는 공동 양자 상태와 POVM을 샘플링해 각 에이전트에게 조언(advice)을 제공하고, 로컬 액터는 해당 조언과 자신의 관찰 이력을 조건으로 행동을 선택한다. 이 설계는 기존 MAPPO(Multi‑Agent PPO)와 호환되도록 손쉽게 통합될 수 있다. 실험에서는 먼저 Bell 상태와 CHSH 게임 등 양자 우위가 증명된 단일 라운드 게임을 블랙박스 오라클 형태로 제공하고, 제안된 학습 프레임워크가 최적 양자 전략을 성공적으로 복구함을 보여준다. 이어서, 다중 라우터·멀티서버 큐잉 시스템을 Dec‑POMDP로 모델링하고, 공유 얽힘을 이용한 정책이 전통적인 공유 랜덤성 정책보다 평균 대기시간과 처리량에서 유의미한 개선을 달성한다. 특히, 비신호 제약 하에서도 양자 측정 결과가 비국소 상관관계를 제공함으로써, 통신이 전혀 불가능한 상황에서도 협조적 행동을 구현한다는 점이 주목할 만하다. 마지막으로, 양자 하드웨어 구현 가능성을 논의하며, 현재의 노이즈 억제 기술과 결합했을 때도 충분히 실용적인 수준의 성능 향상이 기대된다고 주장한다. 전체적으로 이 논문은 양자 물리학의 비국소성(non‑locality)을 강화학습에 체계적으로 도입함으로써, 통신 제한이 심한 실제 시스템(예: 고빈도 거래, 군사 네트워크)에서 새로운 협조 메커니즘을 제공한다는 점에서 학문적·실용적 의의가 크다.