예측 가능한 보상을 갖는 컨텍스트 밴딧 학습

초록

이 논문은 기대 보상을 정확히 예측할 수 있는 함수가 존재한다는 실현 가능성 가정 하에, 새로운 알고리즘 ‘Regressor Elimination’를 제시하고, 그 regret가 기존 무관심(agnostic) 설정과 동등함을 증명한다. 또한 최악의 경우 실현 가능성 가정이 있더라도 더 나은 성능을 보장할 수 없다는 하한을 제시하고, 특정 정책 집합에 대해 보상 분포를 설계하면 기존 방법보다 상수 수준의 regret을 달성함을 보인다.

상세 분석

본 연구는 컨텍스트 밴딧 문제를 실현 가능성(realizability) 가정과 결합하여 분석한다. 실현 가능성 가정이란, 사전에 정의된 함수 클래스 𝔽 내에 모든 컨텍스트‑액션 쌍에 대해 기대 보상을 정확히 예측할 수 있는 함수 f* 가 존재한다는 전제이다. 이 가정은 전통적인 무관심(agnostic) 설정보다 강력하지만, 실제 응용에서 모델이 충분히 표현력을 가질 경우 현실적이다. 논문은 이러한 가정 하에 ‘Regressor Elimination’(RE)이라는 새로운 알고리즘을 설계한다. RE는 매 라운드마다 현재 후보 함수 집합 𝔽ₜ 에서, 관측된 보상과 예측값 사이의 차이가 일정 임계값을 초과하는 함수들을 제거한다. 이 과정은 ‘elimination’ 메커니즘을 통해 불필요한 가설을 빠르게 배제하고, 남아 있는 함수들에 대해 탐색‑활용 균형을 유지한다.

알고리즘의 핵심 이론적 결과는 두 가지이다. 첫째, RE의 누적 regret는 O(√(T · log|𝔽|)) 형태의 상한을 갖는다. 이는 실현 가능성 가정이 있더라도 무관심 설정에서 얻을 수 있는 최적에 버금가는 결과이며, 기존의 Epoch‑Greedy나 ε‑greedy와 같은 단순 탐색 전략보다 일반적으로 더 강력하다. 둘째, 논문은 동일한 설정에서 어떤 알고리즘도 최악의 경우 이보다 낮은 regret를 보장할 수 없다는 하한을 증명한다. 이 하한은 ‘정보 이론적’ 접근을 사용해, 함수 클래스 내의 서로 구별하기 어려운 함수 쌍을 구성함으로써 도출된다. 따라서 실현 가능성 가정이 있더라도, 최악의 보상 분포에 대해서는 알고리즘의 성능 향상이 제한적임을 보여준다.

흥미로운 추가 결과는 특정 정책 집합 Π 에 대해 보상 분포를 설계하면, RE가 상수(regret = O(1)) 수준의 성능을 달성한다는 점이다. 이는 기존 방법들이 보통 O(√T) 혹은 O(log T) 정도의 regret를 보이는 것과 대비된다. 논문은 이를 위해 ‘가장 어려운’ 정책을 제외하고, 나머지 정책에 대해 예측 가능한 보상을 부여하는 보상 모델을 구성한다. 이렇게 하면 RE는 거의 즉시 최적 정책을 식별하고, 이후 탐색 비용이 거의 발생하지 않는다.

기술적 기여는 다음과 같이 정리할 수 있다. (1) 실현 가능성 가정 하에 효율적인 후보 함수 제거 메커니즘을 도입한 RE 알고리즘 설계, (2) RE의 regret 상한을 기존 무관심 결과와 동일하게 유지함을 증명, (3) 최악의 경우에 대한 regret 하한을 제시하여 알고리즘의 최적성을 이론적으로 뒷받침, (4) 특정 정책 집합에 대해 상수 regret을 달성할 수 있는 보상 분포 구성 방법 제시. 이러한 결과는 실용적인 컨텍스트 밴딧 시스템에서 모델 선택과 탐색 전략을 설계할 때, 실현 가능성 가정을 활용하면 이론적 한계와 실제 성능 사이의 격차를 좁힐 수 있음을 시사한다.