효율적인 단순 후회 최소화 알고리즘

초록

본 논문은 확률적 컨텍스트 로지스틱 밴드잇 문제에서 단순 후회(simple regret)를 최소화하는 최초의 알고리즘을 제안한다. 결정론적 방법은 $\tilde O(d/\sqrt{T})$의 상한을, Thompson Sampling 기반의 확률적 방법은 $\tilde O(d^{3/2}/\sqrt{T})$의 상한을 달성한다. 두 경우 모두 기존 연구에서 등장하던 $\kappa=\exp(S)$ 의 의존성을 제거하였다. 실험을 통해 이론적 보장을 검증하였다.

상세 분석

논문은 먼저 컨텍스트가 주어지는 매 라운드에서 행동 집합이 유한하다는 가정 하에, 선형 및 로지스틱 모델을 각각 다루는 두 종류의 알고리즘을 설계한다. 결정론적 알고리즘인 Max‑Uncertainty‑Lin(MULIN)과 Max‑Uncertainty‑Log(MULOG)는 “불확실성 최대화” 원칙에 기반한다. 선형 경우에는 현재까지 관측된 디자인 행렬 $V_t=\lambda I+\sum_{i=1}^{t-1}\phi_i\phi_i^\top$의 역행렬을 이용해 각 행동의 불확실성 점수 $|\phi(s,a)|_{V_t^{-1}}$를 계산하고, 이를 최대로 만드는 행동을 선택한다. 로지스틱 경우에는 로지스틱 손실의 헤시안 하한을 추정해 동일한 형태의 불확실성 스코어를 정의하고, 동시에 파라미터 후보 $\theta_t$를 신뢰구간 $W_t$ 안에서 선택한다. 핵심 기술은 (i) 자기‑컨코넌트(logistic loss) 특성을 이용해 헤시안의 최소값을 하한화함으로써 불확실성 추정이 과도하게 보수적이지 않게 만든 점, (ii) 전체 컨텍스트‑액션 공간에 대한 평균 불확실성이 매 라운드마다 감소한다는 “불확실성 감소 보조정리”를 이용해 elliptical potential lemma을 적용, 결국 $d/\sqrt{T}$ 수준의 단순 후회를 얻은 점이다.

확률적 알고리즘은 Thompson Sampling을 변형한다. 매 라운드마다 현재까지 수집된 데이터와 “제로 보상”이라는 가짜 관측을 이용해 사후분포를 구성하고, 그 분포에서 파라미터 $\tilde\theta_t$를 샘플링한다. 선형 경우에는 $\tilde\theta_t$와 가장 큰 내적을 갖는 행동을 선택하고, 로지스틱 경우에는 샘플링된 파라미터를 이용해 불확실성 스코어를 재계산한다. 이때 샘플링된 파라미터가 신뢰구간 $W_t$ 안에 있을 확률을 정밀히 제어함으로써, 전체 알고리즘이 $ \tilde O(d^{3/2}/\sqrt{T})$ 의 단순 후회 상한을 만족한다. 중요한 점은, 이 상한에서도 $\kappa$ 의 의존성이 사라졌다는 것으로, 이는 기존 누적 후회 분석에서 $\kappa$ 가 차원에 비해 지수적으로 커지는 문제를 회피한 것이다.

이론적 결과는 모두 고확률( $1-\delta$ ) 하에 성립한다. 선형 알고리즘의 경우 정규화 파라미터 $\lambda$ 를 $O(\log(T/\delta)/S^2)$ 로 설정하면, $R(\hat\pi)\le c,d\log(T/\delta)/T$ 를 얻는다. 로지스틱 결정론적 알고리즘은 헤시안 하한을 이용해 동일한 형태의 $d/\sqrt{T}$ 상한을 얻으며, $\kappa$ 가 상수항에만 남는다. 확률적 버전은 추가적인 샘플링 변동성을 고려해 $d^{3/2}$ 의 차원 의존성을 갖지만, 계산 복잡도는 결정론적 방법보다 현저히 낮다. 실험에서는 합성 데이터와 실제 클릭‑스루 데이터셋을 사용해, 제안된 알고리즘이 기존 베이스라인(예: UCB, 기존 TS)보다 빠르게 후회를 감소시키는 것을 확인하였다.