오프라인 데이터와 분포 불일치를 활용한 적응형 밴딧 학습

초록

본 논문은 오프라인 데이터가 온라인 보상 분포와 다를 수 있는 상황에서, 적절한 편향 상한(V)을 이용해 오프라인 데이터를 선택적으로 활용하는 MIN‑UCB와 MIN‑COMB‑UCB 알고리즘을 제안한다. 편향 상한이 없을 경우 기존 UCB와 동등한 성능밖에 낼 수 없다는 불가능 결과를 증명하고, 편향 상한이 주어지면 인스턴스‑종속·독립 두 종류의 최적 레지스트 한계를 달성한다. 또한, 조합 밴딧으로 확장하여 실험을 통해 이론적 결과를 검증한다.

상세 분석

이 논문은 전통적인 밴딧 모델이 “처음부터 시작”한다는 가정에서 벗어나, 사전 수집된 오프라인 데이터가 존재할 때 이를 어떻게 활용할 수 있는지를 체계적으로 탐구한다. 가장 핵심적인 문제는 오프라인 데이터의 분포 (P_{\text{off}})와 온라인 단계의 실제 보상 분포 (P_{\text{on}})가 다를 수 있다는 점이다. 이 경우 무조건 오프라인 데이터를 이용하면 편향(bias)으로 인해 레지스트가 급증할 위험이 있다. 논문은 먼저, 편향 상한 (V)에 대한 사전 정보가 전혀 없을 때는 어떠한 비예측(non‑anticipatory) 정책도 기존 UCB보다 더 나은 레지스트를 보장할 수 없다는 불가능 정리를 제시한다. 이는 “오프라인 데이터가 도움이 될 수도, 해가 될 수도 있다”는 직관을 정량적으로 뒷받침한다.

이를 극복하기 위해 저자들은 유효 편향 상한 (V)을 외부 입력으로 가정한다. (V)는 각 팔 (a)에 대해 (| \mu^{\text{off}}_a - \mu^{\text{on}}_a | \le V(a)) 를 만족한다는 보장이다. 이 정보를 활용해 MIN‑UCB 알고리즘을 설계한다. MIN‑UCB는 각 팔마다 오프라인 샘플 수 (T_S(a))와 편향 상한 (V(a))를 고려해, 오프라인 평균 추정치에 대한 신뢰구간을 동적으로 조정한다. 편향이 작고 샘플이 충분히 많을 경우 오프라인 데이터를 적극 활용해 탐색 비용을 크게 절감하고, 반대로 편향이 크면 오프라인 정보를 무시하고 전통적인 UCB와 동일한 행동을 취한다.

이 알고리즘에 대해 논문은 두 종류의 레지스트 상한을 제공한다. 인스턴스‑종속 상한은 모든 문제 인스턴스에 대해 (\tilde O\bigl(\sum_{a:\Delta(a)>0}\frac{\log T}{\Delta(a)}\bigr)) 와 같은 형태이며, 편향 상한과 오프라인 샘플 수에 따라 추가적인 “절감(saving) 항”이 등장한다. 인스턴스‑종속 상한은 최악의 경우 (\tilde O(\sqrt{KT})) 수준을 유지하면서도, (V(a))가 충분히 작고 (T_S(a))가 큰 경우에는 기존 최적 밴딧 레지스트보다 확연히 낮은 값을 달성한다. 저자들은 또한 이 두 상한이 각각에 대한 하한을 구성해 제시함으로써 제안된 알고리즘이 이론적으로 최적임을 증명한다.

조합 밴딧으로의 확장은 특히 흥미롭다. 여기서는 기본 팔들의 조합으로 이루어진 행동 공간이 지수적으로 커질 수 있기 때문에, 오프라인 데이터의 활용이 더욱 중요해진다. 논문은 MIN‑COMB‑UCB 라는 알고리즘을 제안하고, 기본 팔별 편향 상한과 오프라인 샘플 수를 이용해 조합 행동에 대한 신뢰구간을 구성한다. 이때도 인스턴스‑종속·독립 레지스트 상한이 기존 조합 밴딧 알고리즘(예: Chen et al., 2013)보다 항상 우수함을 보인다. 특히 선형 보상 구조를 가정한 특수 경우에는 레지스트 상한을 정확히 (\tilde O(\sqrt{T})) 수준으로 맞출 수 있다.

실험 부분에서는 다양한 편향 정도, 오프라인 데이터 규모, 온라인 단계 길이 (T) 등을 변별 변수로 삼아 MIN‑UCB와 MIN‑COMB‑UCB의 성능을 검증한다. 결과는 이론적 분석과 일치하여, 편향이 작고 데이터가 풍부할 때 레지스트가 크게 감소하고, 편향이 클 경우 기존 UCB와 거의 동일한 성능을 보이는 것을 확인한다. 또한, 편향의 방향(예: 과소평가 vs 과대평가)도 알고리즘 선택에 영향을 미친다는 점을 실증한다.

전반적으로 이 논문은 “오프라인 데이터가 언제, 어떻게, 얼마나 도움이 되는가”라는 실무적 질문에 대해 정량적이고 알고리즘적으로 답을 제시한다. 편향 상한이라는 최소한의 사전 정보를 통해 오프라인 데이터를 안전하게 활용하고, 그 효용을 레지스트 형태로 명확히 측정한다는 점이 가장 큰 공헌이다.