톰슨 샘플링의 최적 레그렛 한계와 새로운 마르티니게 분석

초록

본 논문은 톰슨 샘플링에 대한 새로운 레그렛 분석을 제시한다. 문제 의존적 경계 $(1+\epsilon)\sum_i\frac{\ln T}{\Delta_i}+O(\frac{N}{\epsilon^2})$와 문제 독립적 경계 $O(\sqrt{NT\ln T})$를 동시에 증명함으로써 2012년 COLT 열린 문제를 해결한다. 마르티니게 기반 증명 기법은 베타 분포에 국한되지 않으며, 컨텍스트 밴딧으로도 확장 가능하다.

상세 분석

이 논문은 다중 팔 밴딧 문제에서 가장 오래된 휴리스틱 중 하나인 톰슨 샘플링(Thompson Sampling, TS)의 레그렛(후회) 한계를 한 차원 끌어올렸다. 기존 연구들은 TS가 실험적으로는 뛰어난 성능을 보이지만, 이론적 보장은 제한적이었다. 특히 문제 의존적 레그렛에 대해서는 Kaufmann et al.가 $(1+\epsilon)\sum_i\frac{\ln T}{\Delta_i}+O(\frac{N}{\epsilon^2})$ 형태의 최적 경계를 제시했으며, 문제 독립적 경계에 대해서는 $O(\sqrt{NT\log T})$ 수준이 아직 증명되지 않은 채 남아 있었다.

저자들은 새로운 마르티니게 기반 분석 프레임워크를 도입한다. 핵심 아이디어는 각 팔에 대한 베타 사후 분포를 확률적 상한/하한으로 감싸는 마르티니게를 구성하고, 이 마르티니게가 시간에 따라 수렴하는 속도를 정밀하게 제어하는 것이다. 구체적으로, $X_{i,t}$를 팔 $i$가 $t$번째 라운드에서 선택될 확률이라 하면, $M_{i,t}= \exp(\lambda X_{i,t})$ 형태의 마르티니게를 정의하고, 적절한 $\lambda$를 선택해 Doob의 마르티니게 불등식을 적용한다. 이를 통해 “잘못된 팔이 선택될 확률”을 $\tilde O(1/t^2)$ 수준으로 억제할 수 있음을 보인다.

문제 의존적 경계 증명에서는 $\Delta_i$(최적 팔과 $i$번째 팔 사이의 평균 보상 차)와 $\epsilon$를 파라미터로 두고, 각 팔이 충분히 탐색된 뒤에는 선택 확률이 급격히 감소함을 보인다. 이때 발생하는 초기 탐색 비용은 $O(N/\epsilon^2)$ 로 제한되며, 전체 레그렛은 $(1+\epsilon)\sum_i \frac{\ln T}{\Delta_i}+O(N/\epsilon^2)$ 형태가 된다.

문제 독립적 경계에서는 모든 $\Delta_i$를 무시하고, 대신 전체 팔 수 $N$과 시간 $T$에 대한 의존성을 분석한다. 마르티니게의 변동성을 전체 시간에 걸쳐 적분하면, 기대 레그렛이 $O(\sqrt{NT\ln T})$ 이하임을 얻는다. 이는 기존 $O(\sqrt{NT\log T})$와 동일한 차수이지만, 로그 항이 $\ln T$ 로 정확히 잡힌 점에서 개선되었다.

또한 저자들은 이 분석이 베타 분포에 특화되지 않음을 강조한다. 베타 사후 대신 일반적인 지수족 분포(예: 가우시안, 포아송)에도 동일한 마르티니게 구조를 적용할 수 있음을 보이며, 이는 TS를 다양한 확률 모델에 적용할 수 있는 이론적 토대를 제공한다. 마지막으로, 컨텍스트 밴딧 설정으로의 확장도 제시한다. 컨텍스트 벡터 $x_t$가 주어질 때, 베타 사후를 $x_t$에 조건부로 업데이트하고, 마르티니게를 컨텍스트에 대한 선형 함수 형태로 정의하면, 동일한 레그렛 경계를 유지한다는 결과를 얻는다.

이러한 일련의 기법은 기존 복잡한 정보 이론적 증명(예: KL 다이버전스 기반)보다 직관적이며, 마르티니게 불등식만으로도 강력한 레그렛 한계를 도출할 수 있음을 보여준다. 따라서 TS의 이론적 정당성을 크게 강화하고, 실무에서 베이즈 기반 탐색 전략을 적용할 때 신뢰성을 높이는 데 기여한다.