베이지안 포레스트 탐색을 활용한 컨텍스트 밴딧: BFTS 알고리즘

초록

본 논문은 베이지안 애드티브 회귀 트리(BART)를 이용한 새로운 컨텍스트 밴딧 방법인 Bayesian Forest Thompson Sampling(BFTS)를 제안한다. BFTS는 트리 기반 모델의 비선형 표현력을 유지하면서 정확한 베이지안 사후분포를 활용해 탐색‑활용 균형을 맞춘다. 이론적으로 $\tilde O(\sqrt{T})$ 수준의 베이지안 후회 상한을 증명하고, 변형 버전에서는 빈도주의 최소극대 최적성을 확보한다. 실험에서는 표준 탭형 벤치마크와 모바일 건강 개입 데이터에서 기존 방법들을 크게 앞선 성능을 보였다.

상세 분석

BFTS는 기존의 선형 TS가 갖는 편향 문제와, 신경망 기반 TS가 실시간 튜닝에 취약한 점을 보완한다. 핵심 아이디어는 각 행동 arm마다 독립적인 BART 사전을 두고, Gaussian likelihood와 결합해 완전한 베이지안 사후를 얻는 것이다. BART는 트리 구조와 리프 파라미터를 확률적으로 모델링하므로, 트리 앙상블의 비선형 적합력과 베이지안 불확실성 정량화를 동시에 제공한다. 논문은 먼저 이상적인 Ideal BFTS(사후를 정확히 샘플링)와 실제 구현을 구분한다. 실제 구현에서는 Metropolis‑within‑Gibbs MCMC를 이용해 각 트리와 리프 파라미터를 순차적으로 업데이트하고, 일정 주기마다 샘플을 재생성하는 배치 업데이트 방식을 채택한다. 이는 매 라운드마다 전체 MCMC를 수행하는 비용을 크게 절감하면서도 충분한 혼합성을 유지한다.

이론적 분석에서는 베이지안 후회 $E