분산 다중플레이어 밴딧: 협력 없이 최적 학습

초록

본 논문은 M명의 분산 플레이어가 N개의 독립적인 팔을 경쟁적으로 선택하는 다중팔 밴딧(MAB) 문제를 다룬다. 플레이어 간 정보 교환 없이 각자 팔을 선택하고, 동일한 팔을 선택하면 충돌이 발생한다(보상 소실 혹은 공유). 저자는 시스템 전체의 누적 레그레트를 중앙집중형 경우와 동일한 로그 차수로 유지할 수 있음을 보이며, ‘시간 분할 공정 공유(TDFS)’ 정책을 제안한다. TDFS는 M개의 최상위 팔을 공정하게 순환 사용하도록 설계돼, 어떠한 사전 합의 없이도 각 플레이어에게 공평한 보상을 제공한다. 또한, 일반적인 보상 모델과 임의의 최적 단일 플레이어 정책과 결합해도 차수 최적성을 유지함을 증명하고, 광범위한 하한을 제시한다.

상세 분석

이 연구는 기존의 중앙집중형 MAB와 달리, 플레이어 간 통신이 전혀 없는 완전 분산 환경을 전제로 한다. 각 플레이어는 매 시점마다 하나의 팔을 선택하고, 선택된 팔이 다른 플레이어와 겹치면 충돌이 발생한다. 충돌 모델은 두 가지 경우를 포함한다. 첫째, 충돌 시 모든 플레이어가 보상을 전혀 받지 못하는 ‘완전 손실’ 모델; 둘째, 충돌된 플레이어들이 보상을 임의의 비율로 나누는 ‘공유’ 모델이다. 논문은 이러한 모델 하에서 시스템 레그레드(전체 플레이어가 얻은 기대 보상의 차이)를 정의하고, 중앙집중형 MAB에서 알려진 로그 차수 하한 O(log T)와 동일한 성장률을 달성할 수 있음을 보인다. 핵심 기여는 ‘시간 분할 공정 공유(TDFS)’ 정책이다. TDFS는 먼저 각 플레이어가 독립적인 단일-플레이어 정책(예: UCB1, KL‑UCB 등)을 사용해 최적 팔을 탐색하도록 하고, 이후 M개의 최상위 팔을 순환적으로 할당한다. 구체적으로, 시간 축을 M개의 서브슬롯으로 나누고, 각 서브슬롯에서는 모든 플레이어가 동일한 순서로 최상위 팔을 시도한다. 이때 충돌을 피하기 위해 각 플레이어는 자신의 서브슬롯에 맞춰 팔을 선택하므로, 장기적으로는 각 플레이어가 M개의 최상위 팔을 거의 동일한 비율로 이용하게 된다. 이 구조는 (1) 레그레드 차수 최적성, (2) 플레이어 간 공정성, (3) 사전 협의·통신 불필요라는 세 가지 요구를 동시에 만족한다. 또한, TDFS는 기본 단일‑플레이어 정책이 차수 최적이면 전체 시스템도 차수 최적임을 증명한다. 논문은 더 일반적인 보상 분포(예: 서브가우시안, 베르누이 등)와 임의의 충돌 보상 함수를 허용하면서도, 제시된 하한과 일치하는 상한을 제공한다. 마지막으로, 제안 정책이 기존의 ‘분산 협조 없는 MAB’ 연구보다 훨씬 넓은 적용 범위와 강력한 이론적 보장을 갖는다는 점을 강조한다.