문맥 밴딧의 괴물을 길들이다: 오프라인 오라클 효율적 프레임워크와 새로운 복잡도 측정

초록

본 논문은 컨텍스트 밴딧 문제를 오프라인 회귀 오라클에 귀착시켜, 로그 수준의 오라클 호출만으로 거의 최적에 가까운 레지스트를 달성하는 OE2D(Offline‑Estimation‑to‑Decision) 알고리즘을 제안한다. 핵심은 “exploitative F‑design”이라 부르는 행동 분포와 새로운 복잡도 지표인 Decision‑Offline Estimation Coefficient(DOEC)이며, 이를 통해 per‑context Eluder 차원 및 h‑smooth regret 설정에서도 이론적 보장을 얻는다. 또한 DOEC와 기존 DEC 사이의 관계를 밝혀 오프라인·온라인 오라클 효율적 설계 원리를 통합한다.

상세 분석

OE2D는 기존 Falcon과 그 선형 변형을 일반화한 프레임워크로, 매 라운드마다 현재 컨텍스트 x에 대해 “exploitative F‑design”이라는 확률분포 pₓ를 계산한다. 이 분포는 두 가지 조건을 동시에 만족한다. 첫째, Low‑Regret(LR) 조건으로, 선택된 행동의 기대 보상이 최적 정책 대비 작은 차이를 보이게 한다. 둘째, Good‑Coverage(GC) 조건으로, 선택된 행동 집합이 회귀 오라클이 학습해야 할 함수 공간을 충분히 탐색하도록 설계된다. 기존 IGW 기반 탐색은 주로 이산 행동공간에 한정됐지만, OE2D는 F‑design을 이용해 연속·고차원 행동공간에서도 동일한 보장을 제공한다.

핵심 이론적 기여는 DOEC이다. DOEC는 특정 탐색 분포 집합 ℙ에 대해
 DOEC(ℙ) = supₓ sup_{f∈F} √{ E_{a∼pₓ}