두 단계 구성 선택과 입장 제어를 위한 최적 프레임워크

초록

본 논문은 대규모 언어 모델 서빙, GPU 스케줄링, 수익 관리 등에서 나타나는 “구성 선택 + 입장 제어” 문제를 두 단계 의사결정 구조로 모델링한다. 첫 단계에서 K개의 구성 중 하나를 선택하고, 두 번째 단계에서 관측된 요청의 보상‑자원 쌍을 기반으로 수용 여부를 결정한다. 저자는 전통적인 고정‑구성 오라클의 한계를 극복하기 위해 “전환 인식 유동 오라클(switching‑aware fluid oracle)”을 제안하고, 이를 기반으로 최대‑최소 형식의 벤치마크를 도출한다. 프라임‑듀얼 최적조건을 이용해 최적 샌드위치 포인트를 특성화하고, 이를 활용한 SP‑UCB‑OLP 알고리즘을 설계해 (\tilde O(\sqrt{KT})) 수준의 서브선형 레그레트를 달성한다.

상세 분석

논문은 먼저 두‑계층 의사결정 모델을 수학적으로 정의한다. 시간 horizon (T) 동안 매 시점에 K개의 구성 (\Theta={1,\dots,K}) 중 하나 (\theta_t)를 선택하고, 선택된 구성에 따라 확률분포 (D_{\theta_t})에서 보상‑자원 쌍 ((r_t,a_t))를 샘플링한다. 이후 관측된 ((r_t,a_t))에 대해 이진 변수 (x_t\in{0,1})를 통해 요청을 수용할지 결정한다. 전체 자원 예산 (\mathbf B)는 경로별 제약 (\sum_{t} a_t x_t \le \mathbf B)를 만족해야 하며, 목표는 기대 총 보상 (\mathbb E