속성 기반 이진 보상 다중 무장 밴딧

초록

이 논문은 각 팔이 알려진 속성 벡터와 미지의 선호 벡터에 의해 파라미터화된 베르누이 보상을 갖는 다중 무장 밴딧 문제를 다룬다. 팔의 수가 매우 많거나 무한해도 시간에 대해 서브리니어(regret)이며 팔의 개수와 무관한 알고리즘을 제시한다. 제안된 Two‑Phase 알고리즘은 초기 탐색 단계와 추정‑활용 단계로 구성되며, 유한 팔 경우 총 레지스트는 $O(n\cdot f(T))$ (여기서 $f(T)=\omega(\log T)$), 무한 팔 경우 $O(\sqrt{n^{3}T})$ 로 제한된다.

상세 분석

본 연구는 다중 무장 밴딧(MAB) 문제를 고차원 속성 공간에 매핑함으로써 기존의 “팔 수에 비례하는” 탐색 비용을 탈피한다는 점에서 혁신적이다. 각 팔 $i$는 $n$ 차원의 속성 벡터 $x_i\in\mathbb{R}^n$ 로 표현되고, 실제 성공 확률은 로짓 모델 $\sigma(\theta^\top x_i)$ 로 주어진다. 여기서 $\theta\in\mathbb{R}^n$ 은 학습해야 할 선호 파라미터이며, $\sigma$ 는 시그모이드 함수다. 이 설정은 광고 추천, 의료 처방 등에서 사용자 특성(속성)과 시스템 파라미터가 결합해 보상을 결정하는 실제 상황을 잘 반영한다.

알고리즘은 두 단계로 나뉜다. 첫 번째 “탐색 단계”에서는 $n$ 개의 선형 독립인 속성 벡터를 선택해 각각 일정 횟수 $m$ 만큼 반복한다. 이 과정에서 얻은 성공/실패 관측값을 이용해 $\theta$ 의 최대우도 추정치 $\hat\theta$ 를 구한다. 중요한 점은 $m$ 을 $O(\log T)$ 수준으로 설정하면, 추정 오차가 $O(\sqrt{\log T / m})$ 로 충분히 작아져 이후 단계에서 발생하는 레지스트가 $O(n\cdot f(T))$ 로 억제된다는 것이다.

두 번째 “활용 단계”에서는 현재 추정된 $\hat\theta$ 를 사용해 각 팔의 기대 보상 $\hat\mu_i=\sigma(\hat\theta^\top x_i)$ 를 계산하고, 상위 $k$ 개(보통 $k=1$) 팔을 선택한다. 이때 탐색 단계에서 확보한 통계적 신뢰구간을 활용해 상한-하한(Upper‑Confidence‑Bound) 형태의 보정항을 추가함으로써, 추정 오차가 큰 팔에 대한 과도한 선택을 방지한다.

이론적 분석에서는 두 단계에서 발생하는 레지스트를 각각 상한화한다. 탐색 단계 레지스트는 $n m$ 로, 이는 $O(n\log T)$ 에 해당한다. 활용 단계 레지스트는 추정 오차와 신뢰구간 폭에 비례해 $O(n\cdot f(T))$ 로 보인다. 전체 레지스트는 두 항의 합이므로 $O(n\cdot f(T))$ 가 된다. 무한 팔 경우, 속성 공간을 $