조합형 상승 밴딧: 공유 기반 팔의 성장 효과를 활용한 최적 정책 설계

초록

본 논문은 기본 팔을 여러 번 선택함에 따라 기대 보상이 점진적으로 상승하는 ‘상승 보상’ 현상을 조합형 밴딧 문제에 도입한 Combinatorial Rising Bandit (CRB) 프레임워크를 제안한다. 공유되는 기본 팔이 여러 슈퍼 팔에 동시에 영향을 미치는 복합 의존성을 고려해, 새로운 알고리즘 Combinatorial Rising UCB (CRUCB) 를 설계하고, 미래 보상을 낙관적으로 추정하는 Future‑UCB 지표와 슬라이딩 윈도우 기반 추정 방식을 결합한다. 이론적으로는 문제 난이도를 나타내는 함수 Υ 를 이용해 상한과 하한을 거의 일치시키는 레귤러리티를 보이며, 실험에서는 온라인 최단 경로와 딥 강화학습 환경에서 기존 방법들을 크게 앞선 성능을 입증한다.

상세 분석

CRB는 기존의 조합형 밴딧(Combinatorial Bandits)과 상승 밴딧(Rising Bandits)의 한계를 동시에 극복한다. 전자는 각 팔이 독립적인 정적 보상을 가정하지만, 실제 로봇 스킬이나 소셜 광고와 같이 팔을 반복 사용하면 그 품질이 향상되는 현상이 존재한다. 후자는 단일 팔의 보상 증가만을 모델링하고, 여러 팔이 겹치는 경우의 상호작용을 무시한다. CRB는 rested 상승 모델을 채택해, 팔 i가 N_i,t 번 선택된 뒤의 기대 보상 µ_i(N_i,t)가 비감소이며, 그 증가량 γ_i(n)=µ_i(n+1)-µ_i(n) 가 감소(concave)한다는 가정을 둔다. 이러한 가정은 실제 연속 학습 과정에서 초기 급격한 향상 후 완만해지는 곡선을 잘 근사한다.

알고리즘 CRUCB는 두 단계로 구성된다. 첫 번째 단계에서는 각 기본 팔에 대해 Future‑UCB 지표 ˆµ_i(t)를 계산한다. ˆµ_i(t)는 (i) 최근 h_i 관측의 평균, (ii) 최근 h_i 관측 사이의 차분을 이용한 기울기 추정에 기반한 미래 성장 예측, (iii) σ·√{log t / (t−N_i,t−1+h_i−1)} 형태의 탐험 보너스를 합산한다. 여기서 h_i=ε·N_i,t−1 로 정의된 슬라이딩 윈도우는 초기에는 짧은 히스토리를 사용해 급격한 변화에 민감하게 반응하고, 데이터가 축적될수록 윈도우를 확대해 분산을 감소시킨다. 이는 상승 보상이 비선형적으로 진행될 때 과도한 편향을 방지하면서도 충분한 탐험을 보장한다.

두 번째 단계에서는 추정된 ˆµ_i(t)들을 입력으로 Solver 라는 최적화 오라클을 호출한다. Solver는 r(S,·) 가 단조이며 종종 선형(또는 k‑MAX) 형태이므로, Dijkstra, 최대 흐름, 매칭 등 문제에 맞는 기존 조합 최적화 알고리즘을 그대로 활용할 수 있다. 따라서 CRUCB는 구조적 제약을 그대로 유지하면서도 상승 효과를 반영한 의사결정을 수행한다.

이론적 분석에서는 먼저 optimal constant policy π*_const 를 정의하고, 일반적인 CRB 인스턴스에서는 상수 정책이 최적이 아닐 수 있음을 보인다(정리 1). 그러나 보상 함수가 상하한을 갖는 additive‑bounded 형태이면, π*_const 가 전체 최적 정책에 비해 B_U/B_L 배 이하의 손실만을 갖는다는 정리 2와 그 특수 경우인 완전 가법 보상에서는 정확히 최적임을 증명한다.

레귤러리티 측면에서는 Υ(M,q)=∑_{l=0}^{M-1} max_i γ_i(l)^q 라는 누적 증가 함수를 도입해 문제 난이도를 정량화한다. 정리 3은 Lipschitz 연속 보상 함수와 슬라이딩 윈도우 파라미터 ε∈(0,½) 를 가정했을 때, CRUCB의 기대 레귤러리티가

Reg(π_ε,T) ≤ O( K·T^{1−q(1−2ε)}·Υ((1−2ε)LT, q) + K·ε·(σ√{T log T})^{2/3} )

와 같이 상한을 갖는다는 것을 보여준다. 여기서 첫 번째 항은 상승 보상의 성장 속도와 슈퍼 팔 크기 L 에 비례하고, 두 번째 항은 탐험 보너스로 인한 오버헤드이다. 또한 저자들은 동일 프레임워크에 대한 regret lower bound 를 제시해, 제시된 상한이 인스턴스별 최적에 근접함을 증명한다.

실험에서는 (1) Toy shortest‑path 그래프에서 early‑peaker와 late‑bloomer 경로가 공유 에지를 갖는 상황, (2) 합성 베타‑분포 기반 상승 보상, (3) DeepMind Lab‑style 3D 네비게이션 환경에서 딥 Q‑network와 결합한 시나리오를 평가한다. 모든 경우에서 기존 조합형 밴딧(SW‑CUCB)과 상승 밴딧(R‑ed‑UCB)은 선형 혹은 서브선형 레귤러리티에 머무르는 반면, CRUCB는 초기 탐험 후 빠르게 최적 경로(또는 정책)로 수렴해 누적 레귤러리티가 거의 평탄해진다. 특히 딥 강화학습 실험에서는 CRUCB가 학습 속도를 2~3배 가속하고, 최종 성공률을 10% 이상 향상시켰다.

전체적으로 이 논문은 공유 기반 상승 보상이라는 새로운 문제 정의와, 이를 효율적으로 다루는 Future‑UCB 기반 조합 최적화 알고리즘을 제시함으로써, 이론과 실험 모두에서 기존 방법들을 뛰어넘는 성과를 보여준다. 다만 슬라이딩 윈도우 파라미터 ε 의 선택이 문제마다 민감할 수 있고, 비가법적 보상(예: 복합 비선형 함수)에서는 현재 이론적 보장이 약하다는 점이 향후 연구 과제로 남는다.