깜빡이는 다중팔 밴딧

초록

**
본 논문은 매 라운드마다 이용 가능한 팔이 변하고, 그 변동이 이전에 선택한 팔에 의존하는 ‘깜빡이는 다중팔 밴딧(FMAB)’ 문제를 제안한다. 팔 간 이동 가능성을 무작위 그래프(이디시–레니yi 및 엣지‑마코프)로 모델링하고, 탐색 단계에서 레이지 랜덤워크를, 이용 단계에서 목표 팔로 이동·고정하는 2단계 알고리즘을 설계한다. 두 그래프 모델 모두에 대해 고확률·기대값 하의 서브선형 regret 상한을 증명하고, 탐색 비용에 대한 정보이론적 하한을 제시한다. 시뮬레이션을 통해 재난 지역을 탐색하는 로봇 시나리오를 포함한 실험 결과를 보인다.

**

상세 분석

**
본 연구는 전통적인 MAB가 전제하는 “모든 팔에 언제든 접근 가능”이라는 가정을 완전히 탈피한다. 저자들은 각 팔을 정점, 팔 사이의 이동 가능성을 간선으로 보는 동적 그래프 모델을 도입한다. 두 가지 확률 그래프 프로세스를 분석한다. 첫 번째는 매 라운드 독립적으로 새로 생성되는 이디시–레니yi(ER) 그래프이며, 동질(모든 p 동일)과 이질(p_ij 각각 다름) 두 경우를 모두 포괄한다. 두 번째는 엣지‑마코프(Edge‑Markovian) 모델로, 각 간선이 독립적인 2‑상태 마코프 체인을 따라 존재/부재를 전이한다. 이 모델은 실제 환경에서 도로가 일시적으로 차단되거나 복구되는 현상을 자연스럽게 묘사한다.

알고리즘은 크게 두 단계로 구성된다. 탐색 단계에서는 현재 정점의 이웃 집합 L_t(a_{t‑1})에서 균등하게 다음 정점을 선택하는 레이지 랜덤워크를 수행한다. 이때 방문 횟수 φ_t(a)와 누적 보상 S_t(a)를 기록하고, 탐색 길이 T_0를 충분히 크게 잡아 각 팔에 최소 O(log n/Δ_min²) 번의 샘플을 확보한다. 동질 ER 그래프에서는 기대 전이 행렬 \bar W가 대칭이고 균등 정류분포를 갖기 때문에 재생(regeneration) 기법을 이용해 모든 정점이 일정 확률로 “재시작”되는 것을 보인다. 이질 ER 그래프에서는 실제 그래프가 전형적인(typical) 특성을 가질 확률을 concentration inequality 로 보장하고, 그 결과 레이지 워크가 여전히 빠르게 믹스함을 증명한다.

이용 단계에서는 탐색이 끝난 뒤 가장 평균 보상이 큰 팔 \hat a* 를 목표로 설정한다. 레이지 랜덤워크를 계속 수행하다가 처음으로 \hat a* 에 도달하면, 그 이후에는 매 라운드 \hat a* 를 고정적으로 선택한다. 이 단계의 비용은 목표 팔에 도달하기까지의 히팅 타임(hit time)이며, 이는 그래프가 연결돼 있고 믹싱 시간이 O(n log n) 이하일 때 O(n log n) 으로 제한된다.

정리하면, 저자들은 두 그래프 모델 모두에 대해 다음과 같은 regret 상한을 얻는다.

• 탐색 비용: O\big(n log(nT/δ) + n log(n/δ)/Δ_min²\big)
• 네비게이션 비용: O\big(n log(n/δ)\big)

이때 δ는 실패 확률이며, 전체 regret 은 고확률(1‑δ) 하에 서브선형이다. 또한, 정보이론적 하한을 구성해 탐색 비용이 Θ\big(n/Δ_min²\big) 수준에서 최적임을 보인다. 이는 “지역 이동 제약 하에서의 탐색 비용은 기본적으로 선형 규모를 피할 수 없다”는 중요한 통찰을 제공한다.

실험에서는 n=50~200 정도의 팔을 갖는 시뮬레이션과, 실제 재난 현장을 모사한 로봇 지상 차량 시나리오를 수행한다. 로봇은 파손된 도로망을 ER 혹은 엣지‑마코프 그래프로 모델링한 환경을 이동하며, 제안 알고리즘이 기존 전역 접근 가능한 UCB·Thompson 샘플링 대비 평균 regret 을 30‑40% 정도 감소시키는 것을 확인한다.

**