분산 적대적 밴딧을 위한 거의 최적 레그레트: 블랙박스 접근법

초록

본 논문은 N개의 에이전트가 로컬 손실만 관측하면서 전역 평균 손실을 최소화하는 분산 적대적 밴딧 문제를 다룬다. 새로운 블랙박스 감소 기법을 통해 지연 피드백 밴딧으로 변환하고, 가십 기반 통신만으로 $\tilde O!\big(\sqrt{(\rho^{-1/2}+K/N)T}\big)$의 상한을 달성한다. 이는 기존 $\tilde O!\big(\rho^{-1/3}(KT)^{2/3}\big)$보다 크게 개선된다. 또한 $\Omega!\big(\rho^{-1/4}\sqrt{T}+\sqrt{KT/N}\big)$의 하한을 보여 최소 레그레트가 통신 비용과 밴딧 비용으로 분해됨을 증명한다. 첫 번째 손실 및 베스트‑오브‑두‑월드 경계와 선형 밴딧 확장도 제공한다.

상세 분석

이 연구는 분산 환경에서 적대적 밴딧을 다루는 데 있어 두 가지 핵심 난제를 해결한다. 첫째, 에이전트들이 서로 다른 로컬 손실을 관측하므로 전역 평균 손실을 정확히 추정하기 위해서는 네트워크 내 정보 확산이 필수적이다. 여기서 네트워크 연결성을 나타내는 스펙트럼 갭 $\rho$가 작을수록 정보 혼합이 느려져 레그레트에 부정적 영향을 미친다. 기존 연구는 이 문제를 완화하기 위해 매 라운드마다 즉시 업데이트하고 가십을 수행했지만, 중요도 가중 추정치의 높은 분산 때문에 혼합 오류가 크게 남아 $\tilde O(\rho^{-1/3}(KT)^{2/3})$ 수준의 서브옵티멀 레그레트를 초래했다.

논문은 이러한 한계를 극복하기 위해 블록 기반 접근을 도입한다. 에이전트들은 일정 길이 $B$의 블록 동안 행동 분포를 고정하고, 블록 내부에서 가속 가십을 $B$번 수행한다. 이 과정에서 로컬 손실을 누적해 블록 종료 시점에 전역 평균 손실의 고정밀 근사치를 얻는다. 이후 이 근사치를 지연 피드백 형태로 기존 적대적 밴딧 알고리즘에 전달한다. 중요한 점은, 블록 길이를 $B = \Theta!\big(\rho^{-1/2}\log(KT)\big)$ 로 설정함으로써 가십 혼합 오류를 $O(1/T)$ 수준으로 억제하고, 동시에 $\alpha = 1/T$ 정도의 아주 작은 균등 탐색을 삽입해 중요도 가중치가 $K T$ 이하로 제한되게 한다.

이러한 설계는 블랙박스 감소를 가능하게 한다. 즉, 어떤 지연 피드백 밴딧 알고리즘 $A$라도 그대로 사용하면, 전체 시스템은 $A$의 레그레트 보장을 그대로 유지한다. 저자는 특히 지연 피드백에 강인한 FTRL 기반 알고리즘을 선택해, 적응형(첫 번째 손실) 및 베스트‑오브‑두‑월드 경계를 얻는다.

이론적으로는 상한 $\tilde O!\big(\sqrt{(\rho^{-1/2}+K/N)T}\big)$와 하한 $\Omega!\big(\rho^{-1/4}\sqrt{T}+\sqrt{KT/N}\big)$를 증명함으로써, 레그레트가 **통신 비용 $\rho^{-1/4}\sqrt{T}$**와 **밴딧 정보 비용 $\sqrt{KT/N}$**의 합으로 정확히 분해된다는 것을 보여준다. 이는 기존 결과와 달리 $\tilde O(\sqrt{T})$ 수준의 최적 레그레트를 달성하면서도 네트워크 연결성에 대한 의존성을 최소화한다.

마지막으로, 동일한 프레임워크를 $d$ 차원 선형 밴딧으로 확장한다. 여기서는 각 에이전트가 $O(d)$ 차원의 메시지만 교환하도록 설계했으며, 레그레트 상한이 $\tilde O!\big(\sqrt{(\rho^{-1/2}+1/N)dT}\big)$ 로 유지된다. 이는 선형 밴딧에서도 통신 효율성을 크게 희생하지 않으면서 최적에 근접한 성능을 보장한다.