탐색과 활용을 결정적으로 구분한 다중 팔 밴딧 정책

본 논문은 다중 팔 밴딧(MAB) 문제에 대한 새로운 정책 설계 방법인 Deterministic Sequencing of Exploration and Exploitation(DSEE)를 제안한다. 전통적인 정책들은 매 시점마다 탐색과 활용을 동시에 고려하는 인덱스 기반(예: UCB) 혹은 베이지안 샘플링 방식을 사용한다. 반면 DSEE는 시간축을 두 개의 교차 시퀀스로 명확히 구분한다. 탐색 시퀀스에서는 모든 팔을 라운드‑로빈 방식으로 균등하게 플레이하여 각 팔에 대한 샘플을 확보하고, 활용 시퀀스에서는 현재까지 탐색 시퀀스에서 얻은 데이터만을 이용해 평균이 가장 큰 팔을 선택한다. 핵심 설계 변수는 탐색 시퀀스의 카디널리티 |A(t)| 로, 이는 전체 regret 에 직접적인 영향을 미친다. 라이트테일 보상 분포(모멘트 생성 함수가 존재하는 경우)에서는 Chernoff‑Hoeffding 경계를 이용해, 탐색 횟수를 O(log T) 로 설정하면 각 팔의 평균 추정치가 최적 팔과 충분히 구별될 확률이 1‑o(1) 수준으로 보장된다. 따라서 탐색에 소요되는 손실이 O(log T) 로 제한되고, 활용 단계에서 발생하는 오분류 손실도 탐색 횟수와 동일한 차수로 억제돼 전체 regret 이 Θ(log T) 가 된다. 이는 Lai‑Robbins가 제시한 최소 로그 차수와 일치하는 최적 결과이다. 헤비테일 보상 분포에 대해서는 순간이 존재하는 최대 차수 p(12)를 가정한다. p‑차 순간이 존재하면 마르코프 부등식과 p‑차 모멘트에 기반한 확률적 경계를 적용해, 탐색 횟수를 T^{1/p} (p≤2) 혹은 T^{1/(1+p/2)} (p>2) 로 설정하면 전체 regret 이 각각 O(T^{1/p}) 혹은 O(T^{1/(1+p/2)}) 로 수렴한다. 이는 기존 트렁케이티드 평균 추정 기반 UCB 정책보다 메모리와 연산 복잡도가 크게 낮으며, 순간 차수에 따라 서브선형 regret 을 보장한다. 또한, 헤비테일 분포에 대해 사전에 상한이 알려진 경우 탐색 비율을 조정하면 로그 차수의 regret 도 달성 가능함을 보인다. DSEE는 보상 분포의 구체적 형태를 알 필요 없이, 최선 팔과 두 번째 최선 팔의 평균 차이 Δ_min 에 대한 양의 하한만 알면 적용 가능하다. Δ_min 이 알려지지 않은 상황에서도 탐색 비율을 점진적으로 늘려가면 로그 차수에 임의로 가까운 regret 을 얻을 수 있다. 이는 기존 정책이 요구하는 분포 유형 혹은 지원 구간에 대한 사전 지식 요구를 크게 완화한다. 확장성 측면에서 DSEE는 여러 변형 MAB에 쉽게 적용될 수 있다. 1. **분산형(Decentralized) MAB**: 여러 플레이어가 충돌을 일으키는 환경에서도, 탐색 시퀀스를 모든 플레이어가 동일하게 라운드‑로빈으로 수행하면 충돌이 발생하지 않는다. 충돌은 활용 구간에서만 발생하므로, 시스템 전체 regret 은 단일 플레이어 경우와 동일한 차수로 유지된다. 2. **마코프 보상 모델**: 보상이 시간에 따라 마코프 체인으로 변하는 경우에도, 탐색 단계에서 충분히 많은 독립 샘플을 확보하면 평균 추정치가 수렴한다는 점을 이용해 동일한 분석을 적용한다. 3. **조합 밴딧(Combinatorial MAB)**: 최단 경로, 최소 신장 트리, 지배 집합 등 의존적인 팔이 존재하는 경우, 각 기본 팔에 대한 탐색을 라운드‑로빈으로 수행하고, 활용 단계에서는 전체 조합의 평균 보상을 추정한다. 이때도 탐색 시퀀스 길이가 충분히 크면 조합 최적화 문제에 대한 로그 차수 regret 을 달성한다. 논문은 또한 기존 연구와의 비교를 제공한다. UCB 기반 정책은 트렁케이티드 평균을 사용해 헤비테일에 대해 로그 차수를 얻지만, 모든 과거 샘플을 저장하고 매 시점마다 트렁케이팅을 수행해야 하는 높은 메모리·연산 비용이 있다. 반면 DSEE는 탐색 시퀀스에서만 샘플을 저장하므로 메모리 요구가 O(|A(t)|) 로 선형이며, 실시간 구현이 용이하다. 마지막으로, DSEE는 탐색·활용을 명시적으로 구분함으로써 정책 설계와 분석이 단순해진다. 탐색 비율을 조정하는 하나의 파라미터만으로 라이트테일·헤비테일, 단일·다중 플레이어, 정적·동적 보상 등 다양한 상황에 대응할 수 있다. 이는 MAB 이론에 새로운 설계 패러다임을 제시하고, 실제 네트워크 최적화, 무선 스펙트럼 공유, 다중 로봇 협업 등 실용적인 응용 분야에 바로 적용 가능한 장점을 제공한다.