밴딧 피드백을 이용한 확률적 볼록 최적화와 최소 레그레트 알고리즘

초록

본 논문은 확률적 밴딧 피드백 모델에서 볼록·리프시츠 함수의 최소화를 목표로 하며, 새로운 “센터 포인트 장치”와 타원체 알고리즘의 일반화를 통해 $\tilde O(\mathrm{poly}(d)\sqrt{T})$ 레그레트를 달성한다. 이는 $\Omega(\sqrt{T})$의 하한과 일치하므로 $T$에 대한 스케일링 면에서 최적임을 보인다.

상세 분석

이 연구는 고차원 볼록 최적화 문제를 밴딧 피드백, 즉 각 쿼리 $x\in\mathcal X$에 대해 노이즈가 섞인 함수값 $y=f(x)+\varepsilon$만을 관측할 수 있는 설정으로 한정한다. $f$는 $1$‑리프시츠이며 $\mathcal X\subset\mathbb R^{d}$는 콤팩트하고 볼록한 집합이다. 목표는 $T$번의 쿼리 후 누적 레그레트 $R_T=\sum_{t=1}^{T}\bigl(f(x_t)-f(x^\star)\bigr)$를 최소화하는 것이다. 기존 연구는 주로 선형 혹은 저차원 Lipschitz 구조에 의존해 $O(\sqrt{T})$ 혹은 $O(T^{\alpha})$와 같은 차원 의존적 속도를 보였지만, 볼록성만을 가정했을 때는 아직 적절한 알고리즘이 부재했다.

논문은 두 가지 핵심 아이디어를 제시한다. 첫째, “센터 포인트 장치”는 현재 탐색 구간(또는 타원) 내에서 세 점 $x_\ell, x_c, x_r$을 선택하고, 각 점에 대해 충분히 많은 샘플을 모아 $\gamma$‑폭의 신뢰구간(CI)을 만든다. CI가 $\gamma$만큼 분리되면 해당 구간을 확정적으로 버릴 수 있다. 예를 들어 $x_\ell$과 $x_r$의 CI가 겹치지 않으면 최소값이 존재하지 않는 사분면을 제거하고, $x_c$와 양쪽 끝점 중 하나의 CI가 충분히 낮으면 그 쪽 사분면을 버린다. 이렇게 하면 매 에포크마다 작업 영역이 일정 비율(보통 $1/4$)씩 감소한다. 둘째, 이 절차를 고차원으로 확장하기 위해 고전적인 타원체 알고리즘을 변형한다. 타원체는 매 단계에서 현재 타원의 중심을 $x_c$로 잡고, $x_\ell, x_r$을 타원의 축 방향 양끝점으로 두어 위와 같은 CI 기반 절단을 수행한다. 타원체의 부피 감소율과 CI의 정확도(샘플 수 $\propto\sigma^2\log T/\gamma^2$)를 결합하면 전체 레그레트가 $\tilde O(\mathrm{poly}(d)\sqrt{T})$로 제한된다.

이론적 분석은 크게 두 부분으로 나뉜다. (1) 신뢰구간이 충분히 좁아질 확률을 Hoeffding 부등식으로 보장하고, 이를 통해 각 에포크에서 발생하는 최대 레그레트가 $O(\gamma)$임을 증명한다. (2) 타원체 절단 과정이 매 단계 부피를 일정 비율 감소시키므로, $O(\log(1/\epsilon))$ 단계 안에 최적점 근처(함수값 차이가 $\epsilon$ 이하) 영역으로 수렴한다. 최종적으로 $\epsilon\approx 1/\sqrt{T}$를 선택하면 전체 레그레트가 $\tilde O(\mathrm{poly}(d)\sqrt{T})$가 된다. 하한 측면에서는 기존의 $\Omega(\sqrt{T})$ 밴딧 레그레트 결과를 그대로 적용해 최적성을 입증한다.

주요 기여는 (i) 볼록성만으로도 차원에 대한 다항식 팩터 외에 $T$에 대한 최적 스케일을 달성한 점, (ii) 기존의 그리드 기반 혹은 그라디언트 추정 방식이 갖는 차원 저주를 회피하고, (iii) 센터 포인트 장치를 통해 레그레트를 직접 제어하면서도 타원체 절단을 유지한 점이다. 또한, 노이즈가 있는 멤버십 오라클 형태의 접근을 통해 “제로‑오더” 최적화와 레그레트 최소화 사이의 차이를 명확히 구분하고, 실제 알고리즘이 양쪽 목표를 동시에 만족함을 보였다.