새로운 부드러움으로 밴딧을 제압한다

본 논문은 적대적 다중 팔 밴딧(Adversarial Multi‑Armed Bandit, MAB) 문제에 대한 새로운 알고리즘 군을 제시하고, 이를 하나의 통합 분석 틀로 정리한다. 전통적인 MAB 연구는 EXP3와 같은 정규화 기반(FTRL) 혹은 교란 기반(FTPL) 방법을 각각 별도로 분석해 왔으며, 두 접근법 모두 ‘전체 정보(full‑information)’ 설정에 비해 밴딧 설정에서는 추가적인 난이도가 존재한다. 저자들은 이러한 난점을 극복하기 위해 ‘차등 일관성(differential consistency)’이라는 새로운 매끄러움 개념을 도입한다. 차등 일관성은 함수 \(\tilde\Phi\) 의 두 번째 편미분이 첫 번째 편미분(즉, 선택 확률)과 특정 거듭제곱 관계를 만족하도록 하는 조건으로, \(\nabla^2_{ii}\tilde\Phi(G)\le C\bigl(\nabla_i\tilde\Phi(G)\bigr)^{\gamma}\) 로 정의된다. 이 조건은 확률이 작아질수록 그 좌표에 대한 곡률이 급격히 커지는 현상을 방지해, 밴딧 상황에서 흔히 발생하는 ‘희소 확률’ 문제를 완화한다. 논문은 먼저 Tsallis 엔트로피를 이용한 정규화 방법을 제시한다. Tsallis 엔트로피 \(S_{\alpha}(p)=\frac{1}{1-\alpha}\bigl(1-\sum_i p_i^{\alpha}\bigr)\) (0<α<1)는 샤논 엔트로피의 일반화이며, α를 조절함으로써 정규화 함수의 곡률을 미세하게 조정할 수 있다. Fenchel conjugate \(\tilde\Phi(G)=\max_{p\in\Delta_N}\{\langle p,G\rangle-\eta S_{\alpha}(p)\) 를 사용하면, GBP‑A 템플릿에 그대로 적용 가능하고, \(\tilde\Phi\) 가 (γ=1‑α, C= (ηα)^{-1}) 차등 일관성을 만족한다는 것을 증명한다. Lemma 2.3을 적용하면 발산 페널티가 \(\mathcal{O}\bigl(N\sum_i p_i^{1-\alpha}\bigr)\) 로 제한되고, 전체 레지스트는 \