제한된 예산 하에서 검열된 피드백을 이용한 자원 할당 학습

초록

본 논문은 매 라운드마다 고정 혹은 변동 예산 B를 K개의 팔에 나누어 할당하고, 각 팔이 성공하려면 (i) 팔‑특유의 베르누이 활성화 확률 p_i와 (ii) 할당량이 임계값 X_{t,i}를 초과해야 하는 이중 조건을 만족해야 하는 온라인 자원 할당 문제를 다룬다. 피드백은 성공 시에만 관측되는 검열된 형태이며, 이를 통해 p_i와 임계값 분포 파라미터 λ_i를 동시에 추정해야 한다. 저자는 Ω(T^{1/3})의 정보‑이론적 최소 레그레트를 증명하고, 두 가지 알고리즘 RA‑UCB(고정 예산)와 MG‑UCB(예산 미지) 를 제안한다. RA‑UCB는 매 K 라운드마다 고정된 탐색 할당을 수행해 λ_i를 정확히 추정하고, UCB 기반 낙관적 의사결정으로 √T 수준(강한 가정 하에서는 poly‑log) 레그레트를 달성한다. MG‑UCB는 라운드 내 스위칭을 허용해 예산이 사전에 알려지지 않은 경우에도 동일한 이론적 보장을 제공한다. 실험은 교육 데이터와 디스플레이 광고 데이터를 이용해 제안 알고리즘이 이론적 경계에 근접함을 확인한다.

상세 분석

본 연구는 기존 다중 팔 밴딧(MAB) 혹은 밴딧·넉스(Bandits with Knapsacks) 모델과는 근본적으로 다른 피드백 구조를 도입한다. 각 팔은 두 개의 독립적인 확률 변수, 즉 활성화 베르누이 변수 Y_{t,i}∼Bern(p_i)와 임계값 X_{t,i}∼G(·;λ_i) 로 구성된다. 성공은 Y_{t,i}=1 그리고 x_{t,i}≥X_{t,i} 두 조건이 동시에 만족될 때만 관측되며, 실패 시에는 어느 조건이 위배됐는지 전혀 알 수 없다. 이러한 ‘검열된’ 피드백은 p_i와 λ_i를 별도로 추정하는 것을 매우 어렵게 만든다. 특히 λ_i는 성공이 발생한 라운드에서만 직접 관측 가능하므로, 성공 확률이 낮은 팔에 대해서는 거의 정보를 얻지 못한다. 논문은 이를 정량화하기 위해, 파라미터가 거의 동일한 K‑1개의 팔과 미세하게 다른 λ을 가진 하나의 팔을 구성한 하드 인스턴스를 설계한다. 이 경우 최적 정책은 거의 전체 예산을 차별화된 팔에 할당해야 하지만, 검열된 피드백 때문에 해당 팔을 충분히 탐색하려면 전체 라운드의 Ω(T^{1/3}) 만큼을 할당해야 한다. 따라서 어떤 알고리즘도 기대 레그레트가 T^{1/3}보다 작게 만들 수 없다는 하한을 증명한다. 이는 전통적인 MAB의 √T 하한보다 느슨하지만, 완전 정보 상황의 O(1) 하한보다는 더 큰 값이다.

제안 알고리즘 RA‑UCB는 두 단계로 구성된다. 첫 번째는 ‘구조적 탐색’ 단계로, 매 K 라운드마다 특정 팔에 충분히 큰 예산을 할당해 성공을 강제하고, 이를 통해 λ_i의 고품질 샘플을 확보한다. 두 번째는 ‘낙관적 활용’ 단계로, 현재 추정된 (p̂_i, λ̂_i)와 해당 추정에 대한 신뢰구간을 이용해 각 팔의 기대 성공 확률 p̂_i·G(x;λ̂_i)에 상한을 부여한다. 이 상한을 최대화하는 할당 벡터 x_t를 선택함으로써 UCB 원칙을 적용한다. 핵심 기술은 (i) λ_i 추정을 위해 성공 시 관측되는 X_{t,i}의 조건부 평균 μ(λ)=E