낙관주의가 톰슨 샘플링을 안정화시켜 적응 추론을 가능하게 한다

초록

본 논문은 K-팔 가우시안 밴딜에서 톰슨 샘플링(TS)의 불안정성을 극복하기 위해 낙관주의(optimism)를 도입한 두 가지 변형을 제안한다. 하나는 사후 분산을 인플레이션하는 방법이고, 다른 하나는 사후 평균에 보너스를 추가하는 방법이다. 두 변형 모두 각 팔의 선택 횟수가 결정론적 규모에 수렴하도록 하는 ‘안정성(stability)’을 만족함을 증명하고, 이를 통해 적응적 데이터 수집 상황에서도 정상적인 위시형(Wald) 신뢰구간과 가설검정을 가능하게 한다. 또한, 추가되는 낙관주의가 regret에 미치는 영향은 로그 차원 수준으로 제한되어 실용적인 성능 저하가 거의 없음을 보인다.

상세 분석

이 연구는 기존의 ‘vanilla’ 톰슨 샘플링이 샘플 크기가 무작위이며 보상과 상호 의존적인 적응형 수집 과정에서 안정성(stability)을 보장하지 못한다는 점에 주목한다. 안정성은 각 팔의 누적 선택 횟수 Nₐ,ₜ가 사전에 정의된 결정론적 시퀀스 Nₐ,⋆,ₜ와 비율적으로 수렴(Nₐ,ₜ / Nₐ,⋆,ₜ →ₚ 1)하는 성질을 의미한다. 이 조건이 충족되면, 중앙극한정리와 마팅게일 CLT를 이용해 샘플 평균의 정규성 및 Wald‑type 신뢰구간을 확보할 수 있다.

논문은 두 가지 낙관주의 구현 방식을 제시한다. 첫 번째는 ‘분산 인플레이션’으로, 사후 샘플링 분산을 σ(A) > 1 로 확대한다. σ(A)는 로그 로그 성장 조건 σ(A)/log log T → ∞ 와 σ(A)(log T)²/T → 0 을 만족하도록 설계되어, 상위 꼬리 확률을 인위적으로 높여 ‘낙관적인’ 인덱스를 생성한다. 이 방식은 Halder et al. (2025)의 2‑팔 결과를 일반 K‑팔로 확장했으며, 특히 최적 팔이 다수 존재하는 경우에도 각 최적 팔이 T/m 비율로 균등하게 선택되는 것을 보인다.

두 번째는 ‘평균 보너스’ 방식이다. 여기서는 사후 평균 b̂ₐ,ₜ에 Bₐ,ₜ = √{2 β(A) log T / Nₐ,ₜ} 라는 보너스를 더한다. β(A) 는 무한대로 발산하지만 T에 비해 선형적으로는 작아야 하며(β(A)→∞, β(A) log T/T→0), 이는 전통적인 UCB 보너스와 유사하지만 샘플링 노이즈가 존재하므로 더 완만하게 증가한다. 이 변형은 ‘의사‑사후(pseudo‑posterior)’ N(b̂ₐ,ₜ+Bₐ,ₜ, 1/Nₐ,ₜ) 로부터 샘플링하는 것으로 해석될 수 있으며, 기존의 Bayes‑UCB, Feel‑Good TS 등과 연결된다.

두 변형 모두 정리 4.1, 4.2에서 Nₐ,ₜ가 (1) 최적 팔에 대해서는 T/m 으로, (2) 비최적 팔에 대해서는 Θ(2 c(A) log T / Δₐ²) 로 수렴함을 보인다. 여기서 c(A) 는 각각 σ(A)² 혹은 β(A) 에 비례하는 낙관주의 강도 파라미터이다. 이러한 수렴은 ‘안정성’ 정의를 만족하므로, 제안된 알고리즘은 사후 평균의 학생화된 통계량이 정상분포로 수렴한다는 명제 2.2를 직접 적용할 수 있다.

또한, regret 분석(Remark 4.3)에서는 인플레이션 혹은 보너스가 추가적인 탐색 비용을 로그 차원으로만 증가시킴을 보여, 기존 TS와 비교해 평균 regret 차이가 O(log T) 수준에 머무른다. 따라서 실무에서 요구되는 탐색‑활용 균형을 크게 해치지 않으면서도, 통계적 추론의 정당성을 확보할 수 있다.

이 논문은 기존 연구와 차별화되는 두 가지 기여를 가진다. 첫째, Halder et al. (2025)의 2‑팔 결과를 일반 K‑팔, 특히 다중 최적 팔 상황까지 확장한 점이다. 둘째, 분산 인플레이션이 아닌 평균 보너스 방식도 안정성을 보장한다는 점을 증명함으로써, 낙관주의가 TS 안정화의 핵심 메커니즘임을 이론적으로 확립했다. 마지막으로, 안정성 기반의 적응 추론 프레임워크를 TS에 적용함으로써, 베이지안 밴딜에서도 전통적인 빈도주의 신뢰구간과 가설검정이 가능함을 최초로 입증했다.