최적 예산 하 최선 팔 선택을 위한 최소최대·베이즈 최적 전략

초록

본 논문은 고정 예산 하에서 최선 팔(best‑arm)을 식별하는 문제에 대해, 두 단계의 샘플링과 스크리닝을 결합한 TS‑SPAS(두 단계 안장점 할당 및 스크리닝) 전략을 제안한다. 첫 단계에서는 모든 팔에 균등하게 샘플을 할당해 명백히 열등한 팔을 제거하고 분산을 추정한다. 이후 Gaussian 최소최대 게임을 풀어 얻은 샘플링 비율에 따라 두 번째 단계에서 남은 예산을 배분한다. 마지막에 동일 게임에서 도출된 결정 규칙으로 팔을 추천한다. 저자는 이 단일 전략이 단순 후회(simple regret) 측면에서 비(非)점근적 상수까지 일치하는 최소최대와 베이즈 최적성을 동시에 달성함을 증명한다.

상세 분석

이 연구는 고정 예산 BAI(bandit best‑arm identification) 문제를 “샘플링‑추천” 2단계 프레임워크로 공식화하고, 기존 문헌이 주로 다루던 고정 신뢰구간(fixed‑confidence) 설정과 달리 예산 T가 사전에 주어지는 상황에서 최적 전략을 설계한다는 점에서 차별화된다. 핵심 아이디어는 (1) 초기 파일럿 단계에서 균등 할당을 통해 각 팔의 평균과 분산을 초기 추정하고, 명백히 최적이 아닌 팔을 조기에 제외함으로써 샘플링 효율을 크게 높이는 ‘스크리닝(screening)’ 메커니즘을 도입한 것이다. (2) 두 번째 단계에서는 Gaussian 최소최대 게임을 정의한다. 여기서 각 팔 a에 대해 샘플링 비율 w_a는 “최악의 파라미터 µ”에 대해 최대 후회를 최소화하는 안장점(saddle‑point) 해로 구한다. 이 게임은 정규분포 가정 하에 Kullback‑Leibler 발산과 분산 σ_a²를 이용해 명시적 해를 얻을 수 있다. (3) 추천 단계에서는 동일 게임에서 도출된 임계값(임계 차이) Δ̂_a를 이용해 “가장 큰 후회”를 보장하는 결정 규칙을 적용한다.

이론적 기여는 크게 두 부분으로 나뉜다. 첫째, 최소최대 관점에서 파라미터 공간 M_K 전체에 대해 sup_µ Regret_T(µ) 의 상한을 √T⁻¹ 수준의 상수 C_mm과 함께 제시한다. 여기서 C_mm은 “근접 차이(Δ≈T⁻¹/²)” 상황에서 발생하는 정보‑이론적 한계를 정확히 계산한 값이다. 둘째, 베이즈 관점에서는 사전 H(µ)가 정규성(regular) 조건을 만족할 때, 평균 후회 ∫ Regret_T(µ) dH(µ) 가 T⁻¹ 수준의 상수 C_Bayes 로 수렴함을 보인다. 두 상수 모두 하한과 상한이 정확히 일치하도록 설계돼, 기존 연구가 제시한 “가능성 없는” 혹은 “거의 최적” 수준을 뛰어넘는다.

증명 기법은 크게 두 축으로 구성된다. (i) 비국소적(large‑deviation) 분석을 이용해 초기 단계에서 명백히 열등한 팔을 제거하고, 이때 발생하는 오류 확률이 exp(−cT) 수준으로 급격히 감소함을 보인다. (ii) 남은 소수의 후보 팔에 대해서는 LAN(local asymptotic normality)와 Le Cam 제3정리를 활용해 정규 근사와 안장점 해의 최적성을 정량화한다. 특히, 변동성(heteroscedastic) 모델을 허용하도록 일반적인 지수족(exp‑family) 정의를 확장했으며, 이는 베르누이·가우시안 등 다양한 실험 설계에 바로 적용 가능하게 만든다.

실험적 검증은 언급되지 않았지만, 제시된 전략은 알고리즘적 복잡도가 O(K) 수준이며, 파일럿 단계와 안장점 계산을 제외하면 기존 UCB‑type 혹은 Thompson Sampling 기반 BAI 알고리즘과 비교해 동일 예산에서 후회가 현저히 낮을 것으로 기대된다. 또한, 베이즈 최적성 결과는 사전이 존재할 경우 사전 평균에 대한 “베이즈 위험 최소화”를 직접 달성한다는 점에서 정책 설계자에게 실용적인 가치를 제공한다.