모델 오차 하에서 토프슨 샘플링의 동적 안정성 분석

초록

본 논문은 모델이 잘못 지정된 상황에서 널리 사용되는 베이즈 강화학습 알고리즘인 토프슨 샘플링(TS)의 장기 행동을 규명한다. 두 팔 가우시안 밴드릿을 통해 세 가지 후방 진화 패턴(정확한 집중, 오류 집중, 지속적 혼합)을 완전 분류하고, 일반적인 유한 모델 집합에 대해 후방을 단순화된 마코프 과정으로 보아 확률적 안정성 프레임워크를 구축한다. 이론적 결과는 후방의 수렴·발산 조건과 차원 축소 메커니즘을 제공하며, 잘못된 모델이 선택될 경우 선형 regret이 발생함을 보여준다.

상세 분석

이 연구는 모델 오차가 존재할 때 토프슨 샘플링(TS)의 동적 특성을 정량·정성적으로 파악한다는 점에서 기존 밴드릿 문헌에 중요한 공백을 메운다. 먼저, 두 모델(θ = ν, γ)과 두 팔(i = 1, 2)로 구성된 가우시안 밴드릿을 설정한다. 실제 보상은 Rₜ|Aₜ=i ∼ N(g(i), 1)이며, 의사 모델은 Rₜ|Aₜ=i ∼ N(θ_i, 1)이다. 여기서 핵심은 (i) 두 모델이 추천하는 최적 팔이 일치하는가(동의 vs. 불일치)와 (ii) 각 팔에 대한 로그우도비 기대값 Δ_i = E