적대적 선형 컨텍스트 밴딧을 위한 효율적 감소 알고리즘

초록

본 논문은 적대적 손실과 확률적 액션 집합을 갖는 선형 컨텍스트 밴딧 문제를, 고정된 액션 집합을 갖는 미스스펙화에 강인한 적대적 선형 밴딧 문제로 효율적으로 변환한다. 변환을 통해 액션 수 K에 독립적인 (\tilde O(\min{d^{2}\sqrt T,\sqrt{d^{3}T\log K}})) 레귤러리티를 달성하고, 실행 시간은 (\text{poly}(d,C,T)) 이다. 시뮬레이터가 제공될 경우 (\tilde O(d\sqrt{L^{\star}})) 레귤러리티로 개선된다. 이는 기존 연구가 K에 선형 혹은 다항 의존성을 보였던 것을 넘어, 조합 최적화 문제에서도 실용적인 다항 시간 알고리즘을 제공한다.

상세 분석

이 논문은 적대적 선형 컨텍스트 밴딧(Adversarial Linear Contextual Bandits, ALCB) 문제를 두 단계의 핵심 아이디어로 해결한다. 첫 번째는 컨텍스트 집합을 고정된 액션 집합으로 대체하는 감소(Reduction) 기법이다. 저자들은 정책 (\pi) 가 각 라운드의 액션 집합 (A_t) 에서 선택한 기대 행동을 (\Psi(\pi)=\mathbb{E}_{A\sim D}