피어투피 네트워크에서 분산 클러스터링 선형 밴딧 알고리즘

본 연구는 피어투피(P2P) 네트워크 환경에서 여러 에이전트가 제한된 통신 자원을 활용하면서 선형 밴딧 문제를 효율적으로 해결하는 방법을 제시한다. 먼저 선형 밴딧의 기본 모델을 소개하고, 각 에이전트 i 가 시간 t 에 컨텍스트 집합 Dᵢₜ 에서 행동 xᵢₜ 를 선택하고 보상 rᵢₜ = xᵢₜᵀθ + ξᵢₜ 을 관측한다는 설정을 정의한다. 목표는 네트워크 전체의 누적 레그레트 Rₜ 를 최소화하면서, 매 라운드마다 한 명의 이웃과만 정보를 교환하는 제한된 통신 프로토콜을 설계하는 것이다. 통신 프로토콜로는 가십(gossip) 방식을 채택한다. 매 라운드마다 무작위 순열 σ 가 생성되고, 각 에이전트 i 는 σ(i) 와 버퍼 Aᵢₜ, Bᵢₜ 을 평균화한 뒤 현재 관측을 추가한다. 이렇게 구성된 버퍼는 τ(t) 이라는 지연 함수에 의해 일정 시점 이전의 데이터만 사용하도록 제한한다. 지연을 두는 이유는 가십 과정에서 발생하는 데이터 중복과 가중치 불균형이 파라미터 추정에 편향을 일으키는 것을 방지하기 위함이다. 첫 번째 알고리즘인 Distributed Confidence Ball (DCB)은 위 가십 기반 버퍼와 지연을 이용해 각 에이전트가 OFUL 스타일의 신뢰구 Cᵢₜ 를 구성하고, 낙관적 행동을 선택한다. 정리 1에서는 DCB가 레그레트 상한을 Rₜ ≤ (N(δ)|V|+ν(|V|,d,t))‖θ‖² + 4e²(β(t)+4R)R|V|t ln(1+|V|t/d) d 와 같이 제시한다. 여기서 ν 는 지연에 따른 손실, N(δ)|V| 는 완전 혼합이 이루어지지 않은 손실을 의미한다. 중앙집중식 CB와 비교했을 때, 초기 버닝인 이후 레그레트 감소율이 거의 |V| 배 향상됨을 보인다. 두 번째 알고리즘인 Distributed Clustering Confidence Ball (DCCB)은 에이전트들이 서로 다른 파라미터 θₖ 를 가질 수 있는 클러스터 구조를 자동으로 탐지한다. 초기에는 모든 에이전트를 하나의 클러스터로 가정하고, 가십을 통해 얻은 가중치 wᵢ₀,ₜ₀ᵢ,ₜ 를 이용해 두 에이전트 간의 파라미터 차이를 추정한다. 차이가 일정 임계값을 초과하면 해당 연결을 끊고 클러스터를 분할한다. 이렇게 형성된 클러스터 내부에서는 DCB와 동일한 신뢰구와 행동 선택 방식을 적용한다. 정리 6은 DCCB가 클러스터 내부에서는 최적 레그레트를, 클러스터 간에는 로그 수준의 추가 비용만 발생한다는 것을 증명한다. 통신 복잡도 측면에서, 완전 공유 방식은 매 라운드마다 O(d|V|²) 비트가 필요하지만, 가십 기반 DCB는 O(log²(|V|t) d²|V|) 비트, 에포크 기반 구현 시 O(d²|V|) 비트만 요구한다. 이는 log(|V|t) d ≪ |V| 인 경우 현저한 절감 효과를 제공한다. 실험에서는 MovieLens, Netflix, Yahoo! Music 등 실제 추천 데이터셋을 사용해 DCB와 DCCB를 기존 분산 밴딧 알고리즘(예: Distributed ε‑greedy, Distributed UCB)과 비교하였다. 결과는 제안 알고리즘이 레그레트 감소 속도와 최종 누적 레그레트 모두에서 우수함을 보여주며, 특히 클러스터가 명확히 존재하는 경우 DCCB가 클러스터 탐지와 학습을 동시에 수행함으로써 큰 이점을 제공한다. 마지막으로 논문은 가십 기반 분산 학습이 선형 밴딧과 같은 고차원 연속 행동 공간에서도 효율적으로 적용될 수 있음을 입증하고, 클러스터링 구조를 고려한 확장 가능성을 제시한다. 향후 연구 방향으로는 비동기 가십, 동적 클러스터 변동, 그리고 비선형 밴딧 모델에 대한 적용을 제안한다.