선형 밴딧을 위한 자기동조 섭동 기법

초록

본 논문은 적대적 선형 밴딧 문제에서 FTRL과 FTPL을 하나의 프레임워크로 통합하고, 자기동조 장벽과 유사한 역할을 하는 ‘자기동조 섭동’ 분포를 도입한다. 이를 기반으로 설계한 Sc‑FTPL 알고리즘은 하이퍼큐브와 ℓ₂ 볼에 대해 각각 O(d√{n log n})의 레지스트를 달성하며, 특히 하이퍼큐브에서는 기존 SCRiBLe 대비 √d 만큼 개선된 최적에 근접한 성능을 보인다.

상세 분석

이 연구는 먼저 완전 정보 설정에서 FTRL과 FTPL이 동일한 Gradient‑Based Prediction (GBPA) 프레임워크에 포함된다는 사실을 재조명한다. 이를 밴딧 환경에 확장하기 위해 저자들은 Bandits‑GBPA라는 새로운 템플릿을 제안한다. 핵심은 두 가지 구성 요소, 즉 샘플링 스킴과 추정 스킴이다. 샘플링 스킴은 현재 추정된 누적 손실 ˆYₜ₋₁에 기반해 행동을 확률적으로 선택하도록 설계되며, 추정 스킴은 관측된 스칼라 손실 ⟨yₜ, Aₜ⟩을 이용해 손실 벡터 yₜ를 무편향 추정한다.

논문의 가장 혁신적인 기여는 자기동조 섭동(self‑concordant perturbation) 개념이다. 정의에 따르면, 어떤 확률분포 D가 θ에 대해 ∇R* (θ) = 𝔼_{ξ∼D}