강인한 볼록 함수의 확률적 1차 최적화, 단계 크기 적응으로 4배 가속

본 논문은 λ‑strongly convex인 목표 함수 f : Γ → ℝ에 대해, 직접적인 함수값이나 정확한 서브그라디언트를 얻을 수 없는 상황을 가정한다. 대신, 임의의 점 x_i에서 무편향·독립적인 확률적 오라클 ˜ω(x_i) = {˜f_i(x_i), ∇˜f_i(x_i)}를 호출한다. 이러한 설정은 대규모 머신러닝, 특히 구조적 위험 최소화와 같은 문제에 자연스럽게 대응한다. **문제 정의** 목표는 w* = arg min f(w) 를 근사하는 일련의 점 y_n을 생성하는 것이다. 오라클은 f 자체를 알 수 없으며, 오직 ˜f_i와 ∇˜f_i만을 제공한다. ˜f_i는 f의 무편향 추정치이며, 서로 독립(i.i.d.)이다. **기존 이론과 한계** 결정론적 상황에서는 컷팅 플레인(Cutting‑Plane) 방법이 최적값의 하한을 제공한다(Lemma 1). 또한, Jenson 부등식은 강볼록 함수에 대해 상한을 제공한다(Lemma 2). 그러나 이러한 결과를 확률적 오라클에 그대로 적용하면, 기대값 상한을 얻기 위해서는 추가적인 구조적 가정이 필요하다. **새로운 상한 함수 U와 Lemma 3** 저자들은 함수 U(A,B; ˜f_i, x_i) 를 정의한다. 여기서 A =