대규모 조합 반밴딧 효율 학습

초록

본 논문은 아이템 특성에 대한 선형 일반화를 가정하고, 조합 반밴딧 문제에서 규모에 독립적인 서브선형 regret을 달성하는 두 알고리즘, CombLinTS와 CombLinUCB를 제안한다. 두 알고리즘은 오프라인 최적화 오라클만 존재하면 계산적으로 효율적이며, 이론적 regret 상한을 증명하고 대규모 실험을 통해 CombLinTS가 실용적으로 우수함을 확인한다.

상세 분석

이 논문은 전통적인 조합 반밴딧이 아이템 수 L에 비례하는 O(√L) 수준의 regret을 갖는 한계를 극복하고자, 아이템의 특성 행렬 Φ∈ℝ^{L×d}를 이용한 선형 일반화 모델을 도입한다. 기대 가중치 (\bar w)가 (\bar w = Φθ^*) 형태로 표현될 수 있다고 가정함으로써, 개별 아이템을 독립적으로 추정하는 대신 d 차원의 파라미터 θ^*를 공동 학습한다. 이 접근은 L≫d인 상황에서 통계 효율성을 크게 향상시킨다.

두 알고리즘은 모두 Kalman 필터링 기반의 베이지안 업데이트를 사용한다. CombLinTS는 매 라운드마다 현재 사후 분포 N( (\bar θ_t, Σ_t) )에서 θ_t 를 샘플링하고, 이를 Φθ_t 로부터 추정된 가중치 벡터를 오라클에 전달해 최적의 조합 A_t 를 선택한다. 이 과정은 Thompson Sampling 의 탐색-활용 균형을 자연스럽게 구현한다. 반면 CombLinUCB는 각 아이템에 대해 (\hat w_t(e)=φ_e^T \bar θ_t + c\sqrt{φ_e^T Σ_t φ_e}) 형태의 상한값을 계산하고, 이 상한값을 이용해 OFU(Optimism in the Face of Uncertainty) 원칙에 따라 조합을 선택한다.

이론적 분석에서는 (1) (\bar w = Φθ^*) 라는 코히런트 가정, (2) 사전이 N(0, λ²I)이고 관측 노이즈가 N(0, σ²)인 가우시안 경우, 그리고 λ≥σ 라는 파라미터 조건을 전제로 한다. 이러한 가정 하에, CombLinTS 에 대해 Bayes regret (R_{Bayes}(n) ≤ O\big(d\sqrt{n\log(1+nσ²/λ²)}\big)) 를, CombLinUCB 에 대해서는 기대 regret (R(n) ≤ O\big(d\sqrt{n\log(1+nσ²/λ²)}\big)) 를 증명한다. 핵심은 아이템 수 L 에 대한 의존성을 완전히 제거하고, 차원 d 와 시간 n 에만 의존하도록 regret 를 제한한 점이다.

또한, 알고리즘의 계산 복잡도는 오라클 호출 횟수와 동일하게 유지된다. 즉, 조합 최적화 문제 자체가 다항식 시간에 해결 가능하거나 근사 알고리즘이 존재한다면, 학습 알고리즘도 동일한 복잡도로 실행된다. 이는 기존의 O(L) 파라미터 업데이트 방식과 비교해 메모리와 연산량 모두에서 큰 장점을 제공한다.

실험 부분에서는 수천 개 아이템을 갖는 다양한 시뮬레이션 및 실제 데이터셋(예: 영화 추천, 광고 매칭)에서 CombLinTS 를 평가한다. 파라미터 λ, σ, c 에 대한 민감도 분석 결과, CombLinTS 가 파라미터 선택에 비교적 강건함을 보이며, UCB 기반 베이스라인 및 기존 조합 반밴딧 알고리즘보다 빠른 수렴과 낮은 누적 regret 을 달성한다. 특히, 아이템 수가 증가해도 성능 저하가 거의 없으며, 실시간 시스템에 적용 가능한 스케일러빌리티를 입증한다.

전체적으로 이 논문은 선형 일반화 모델을 조합 반밴딧에 적용함으로써, 대규모 아이템 집합에서도 통계적·계산적 효율성을 동시에 달성할 수 있음을 보여준다. 제안된 두 알고리즘은 이론적 보증과 실험적 검증을 모두 갖추고 있어, 실무에서 대규모 추천, 광고 배치, 네트워크 라우팅 등 다양한 조합 최적화 문제에 바로 적용 가능하다.