무거운 꼬리 보상 선형 밴드잇의 새로운 최소 후회 한계

초록

본 논문은 (1+ε) 절대 중심 모멘트가 유한한(ε∈(0,1]) 잡음 하에서 선형 밴드잇 문제의 최소 후회(regret)를 연구한다. 기존 상한 ~O(d T^{1/(1+ε)})에 비해 차원 d 의 의존도를 d^{(1+3ε)/(2(1+ε))} 로 개선한 새로운 제거 기반 알고리즘을 제안하고, Ω(d^{2ε/(1+ε)} T^{1/(1+ε)})의 새로운 하한을 증명한다. 또한 유한 행동 집합, 기하학적 구조에 따른 맞춤형 상한, 그리고 커널 트릭을 이용한 무한 차원(특히 Matérn 커널) 확장 결과를 제공한다.

상세 분석

이 연구는 무거운 꼬리(heavy‑tailed) 보상 분포를 가정한 선형 밴드잇 모델에 대한 이론적 한계를 크게 진전시킨다. 먼저, 기존 문헌에서는 ε=1(유한 분산) 경우에만 차원 d 에 대한 최적 상한 O(d√T)이 알려져 있었으며, ε<1 일 때는 ~O(d T^{1/(1+ε)})가 최선이라고 여겨졌다. 그러나 저자들은 이러한 인식이 두 가지 측면에서 부정확함을 지적한다. 첫째, 기존 하한은 잡음의 (1+ε)‑절대 중심 모멘트가 차원에 비례하도록 설계된 인스턴스에 기반했으며, 실제 관심사인 ‑모멘트가 O(1) 인 경우와는 차이가 있다. 둘째, 다변량 구조를 충분히 활용하지 못해 차원 의존도가 과도하게 보수적으로 추정되었다.

이를 해결하기 위해 저자들은 (CJKS21)에서 제안된 실험 설계 기반 추정기를 무거운 꼬리 상황에 맞게 변형한다. 핵심 아이디어는 각 라운드에서 선택할 행동을 설계할 때, 추정기의 분산(또는 더 일반적인 강건성)에 대한 상한을 최소화하도록 실험 설계 문제를 풀어, 정보량을 효율적으로 축적하는 것이다. 이 추정기는 (1+ε)‑절대 중심 모멘트를 이용해 평균을 추정하면서도, 큰 편차에 대한 영향을 제한한다.

이 추정기를 이용한 단계적(elimination‑based) 알고리즘은 매 단계마다 현재 후보 파라미터 집합을 반으로 줄이며, 각 단계에서 최적 실험 설계를 통해 행동을 선택한다. 분석 결과, 전체 후회는

\