작은 그래디언트 노름을 이용한 온라인 볼록 최적화의 새로운 후회 척도

초록

본 논문은 부드러운 손실 함수에 대해 누적 그래디언트 제곱 노름을 기반으로 하는 $G^{\star}$ 후회 개념을 제안한다. $G^{\star}$ 후회는 기존의 작은 손실 $L^{\star}$ 후회를 엄격히 상위 개념으로 포함하며, 최적점 주변의 곡률이 거의 없을 때 $L^{\star}$보다 훨씬 더 날카로운 경계가 가능함을 보인다. 온라인 경사 하강법, AdaGrad‑Norm, AdaFTRL 등 기존 알고리즘이 $O(\sqrt{G^{\star}_T})$ 혹은 $O(G^{\star}_T)$ 형태의 상한을 달성함을 증명하고, 동적 후회와 밴딧 설정까지 확장한다. 실험을 통해 이론적 이득을 확인한다.

상세 분석

논문은 먼저 전통적인 온라인 볼록 최적화(OCO)에서 사용되는 $L^{\star}$(small‑loss) 후회의 한계를 짚는다. $L^{\star}$는 손실이 비음수이고 하한이 존재해야 정의될 수 있지만, 선형 손실처럼 하한이 없거나 상수 이동에 불변하지 못한다는 문제점이 있다. 이를 보완하기 위해 저자들은 $G^{\star}T=\sum{t=1}^T|\nabla\ell_t(x^{\star})|^2$ 를 정의하고, 이를 기반으로 한 $G^{\star}$ 후회를 제시한다. $G^{\star}$는 그래디언트 노름 자체가 이동에 대해 불변하고, 손실의 부호와 무관하게 적용 가능하므로 $L^{\star}$보다 일반적이다.

핵심 이론적 결과는 두 가지이다. 첫째, 부드러운(convex + L‑smooth) 가정 하에 $G^{\star}_T\le 2L,L^{\star}_T$ 가 성립함을 보이며, 따라서 $L^{\star}$가 작을 경우 $G^{\star}$도 작아진다. 둘째, 곡률이 거의 0인 상황—예를 들어 로지스틱 회귀의 교차 엔트로피 손실, $\ell_p$ 손실, 지수 손실 등—에서는 $|\nabla\ell_t(x^{\star})|^2=o(\ell_t(x^{\star}))$ 가 되므로 $G^{\star}_T$는 $L^{\star}_T$보다 훨씬 빠르게 감소한다. 이는 $G^{\star}$가 $L^{\star}$보다 엄격히 더 정밀한 문제‑의존적 후회 척도임을 의미한다.

알고리즘적 측면에서는 기존 OGD의 학습률 분석을 재구성한다. 부드러운 함수의 특성을 이용해 $\ell_t(x)-\ell_t(x_t)$ 를 그래디언트 차이의 제곱 노름으로 직접 바인딩함으로써, 기존 분석에서 필요했던 손실 자체에 대한 상한을 제거한다. 결과적으로 $\eta\in(0,1/L)$ 를 선택하면
\