밴딧 할당 불안정성

초록

본 논문은 다중 팔 밴딧 알고리즘이 보이는 할당 변동성을 새로운 성능 지표로 정의하고, 이 지표와 전통적인 기대 후회 사이에 근본적인 트레이드오프가 존재함을 증명한다. 최적 후회 알고리즘은 할당 변동성이 Θ(T) 수준으로 최대가 되며, 하위선형 후회를 달성하려면 변동성은 최소 √T보다 커야 한다. 제안된 UCB‑f 알고리즘은 탐색 함수를 조정함으로써 R_T·S_T≈Θ(T^{3/2})인 파레토 경계를 거의 정확히 달성한다.

상세 분석

논문은 먼저 “할당 변동성”(allocation variability) S_T를 정의한다. 이는 시간 T까지 각 팔 i가 받은 총 pull 수 N_{i,T}의 표준편차 중 최댓값으로, 기존의 기대 후회 R_T와는 독립적인 변동성 차원을 측정한다. 저자들은 Gaussian 밴딧을 기준으로, 어떤 알고리즘이든 R_T=o(T)라면 반드시 R_T·S_T=Ω(T^{3/2})를 만족해야 함을 정리 1에서 증명한다. 이 결과는 두 지표가 서로 반비례 관계에 있음을 의미한다. 특히, 최악의 경우 후회가 Θ(√T)인 최소극대 후회 알고리즘은 S_T가 Θ(T)까지 커야 함을 보여, 할당 변동성이 가능한 최대 규모에 도달한다는 점을 강조한다.

다음으로 정리 2에서는 Δ_i=O(1/√T)인 인스턴스에서 모든 최적 후회 알고리즘이 동일하게 최대 변동성을 보인다는 구체적 현상을 제시한다. 이는 팔 간 평균 차이가 작을수록 알고리즘이 탐색·착취를 조정하기 위해 pull 수를 크게 흔들어야 함을 의미한다.

하위선형 후회를 목표로 하는 알고리즘에 대해 저자들은 S_T=Θ(T^{1−α})이면 R_T=Ω(T^{1/2+α})가 필요함을 보이며, α∈(0,½] 구간에서 변동성을 줄이려는 시도가 반드시 후회 증가로 이어진다. 반대로, 완전 탐색을 포기하고 고정된 라운드‑로빈 방식을 쓰면 S_T=0이지만 후회는 선형에 가깝게 상승한다는 점을 대비한다.

이러한 이론적 한계를 바탕으로, 논문은 UCB‑f라는 파라미터화된 UCB 계열을 제안한다. 기존 UCB1의 탐색 보정 √(log t)를 일반 함수 f(t)로 대체함으로써, f의 성장 속도를 조절해 R_T와 S_T 사이의 곱을 거의 T^{3/2}에 맞출 수 있다. 정리 3은 UCB‑f가 다항 로그 요인만큼의 손실로 파레토 경계 R_T·S_T=~Θ(T^{3/2})를 달성함을 증명한다.

실제 플랫폼 운영에 대한 함의도 논의한다. 플랫폼이 사용자 만족과 창작자(팔) 트래픽 안정성을 동시에 고려한다면, 위험 회피 파라미터 ρ에 따라 UCB‑f의 f(t) 선택이 달라진다. ρ≤2이면 탐색을 유지하면서도 합리적인 목표를 달성하지만, ρ>2이면 학습을 포기하고 정적 할당이 최적이 된다. 또한, 후행 통계 추정 측면에서 최소극대 후회 알고리즘은 “샘플링 안정성”(sampling stability)을 만족하지 못하므로, 평균 보상의 점근적 정규성 보장이 어려워진다. 이는 Praharaj와 Khamaru(2025)의 열린 질문에 부정적인 답을 제공한다.

마지막으로 저자들은 regret와 할당 변동성을 연결하는 새로운 하한 기법을 제시한다. 두 팔이 평균 차이 Δ를 가질 때, 열등 팔의 기대 pull 수 g_T(Δ)와 그 미분 g’_T(Δ)를 이용해 S_T를 |g_T(Δ)−g_T(Δ′)| 형태로 표현한다. Δ=0에서 g_T(0)=T/2인 대칭성을 이용해, 작은 후회를 위해서는 g_T가 Δ에 대해 급격히 감소해야 하지만, 이는 변동성을 크게 만든다. 이 수학적 긴장을 풀어 최적의 trade‑off 곡선을 도출한다.

전반적으로 논문은 밴딧 알고리즘 설계 시 “후회 최소화”와 “할당 안정성” 사이의 불가피한 균형을 명확히 규정하고, 실용적인 조정 가능한 알고리즘을 제공함으로써 이론과 응용을 연결한다.