경량 온라인 뉴턴 스텝: 최적 레지듬과 효율성을 겸비한 새로운 알고리즘

초록

본 논문은 지수볼록 손실 함수를 다루는 온라인 최적화 문제(OXO)에서, 기존 ONS 알고리즘이 갖는 $Ω(d^{\omega})$의 매사라스 프로젝션 비용을 완화시키는 변형인 LightONS을 제안한다. LightONS은 Mahalanobis 프로젝션을 필요할 때만 수행하도록 연기(defer)함으로써 전체 실행 시간을 $O(d^{2}T + d^{\omega}\sqrt{T\log T})$ 로 줄이면서도 $O(d\log T)$의 최적 레지듬을 유지한다. 또한 온라인‑투‑배치 변환을 적용하면 확률적 지수볼록 최적화(SXO)에서도 $\tilde O(d^{3}/\varepsilon)$의 실행 시간으로 최적 샘플 복잡도를 달성한다.

상세 분석

LightONS은 ONS의 핵심 구조인 온라인 미러 디센트(OMD) 프레임워크를 그대로 보존하면서, Mahalanobis 프로젝션을 “확장된 구(eXk)” 내부에서만 수행하도록 설계했다. 구체적으로, 원래 도메인 $X$를 포함하는 반지름 $kD/2$의 구 $eX_k$를 정의하고, 현재 추정치 $b x_{t+1}$가 $eX_k$ 안에 있을 경우 바로 사용한다. $b x_{t+1}$가 $eX_k$를 벗어나면 처음으로 Mahalanobis 프로젝션 $\Pi_{A_t}^{X}$를 수행한다. 이 연기 메커니즘은 매 라운드마다 비용이 큰 $Ω(d^{\omega})$ 연산을 피하게 하며, 실제 프로젝션 횟수 $N$은 $O(\sqrt{T\log T})$ 로 제한된다(레마 2).

알고리즘은 매 라운드마다 $A_t = A_{t-1} + \nabla f_t(x_t)\nabla f_t(x_t)^\top$ 로 Hessian‑유사 행렬을 업데이트하고, $b x_{t+1}=x_t - \frac{1}{\gamma}A_t^{-1}\nabla f_t(x_t)$ 로 뉴턴 스텝을 계산한다. 여기서 $\gamma = \frac12\min{ \frac{2}{(k+1)DG},\alpha}$ 로 정의해, $k$가 클수록 더 큰 스텝을 허용하면서도 exp‑concavity가 보장하는 곡률 $\gamma$를 유지한다.

레지듬 분석은 기존 ONS와 동일한 곡률 보조정리(Lemma 1)를 활용한다. $f_t$가 $\alpha$‑exp‑concave이면, $f_t(x_t)-f_t(u) \le \nabla f_t(x_t)^\top (x_t-u) - \gamma|\nabla f_t(x_t)^\top (x_t-u)|^2$ 가 성립한다. 이를 OMD의 일반적인 레지듬 증명에 대입하면, $R_T(u) \le d\log T$ 형태의 최적 상한을 얻는다. 중요한 점은, 프로젝션을 연기함으로써 발생할 수 있는 feasibility 위반을 $eX_k$ 라는 확장된 영역으로 흡수함으로써, 레지듬에 영향을 주는 추가 오차 항이 $O(\frac{1}{k})$ 수준으로 억제된다는 것이다.

시간 복잡도 측면에서, 매 라운드 $A_t^{-1}$ 계산은 $O(d^2)$ 로 구현 가능하고, 전체 $T$ 라운드에 대해 $O(d^2T)$ 가 된다. 프로젝션은 $N = O(\sqrt{T\log T})$ 번만 수행되며, 각 프로젝션은 $O(d^{\omega})$ 이다. 따라서 총 복잡도는 $O(d^2T + d^{\omega}\sqrt{T\log T})$ 로, 기존 $O(d^{\omega}T)$ 에 비해 큰 폭으로 개선된다.

또한, LightONS을 온라인‑투‑배치 변환에 적용하면, 확률적 지수볼록 최적화에서 $\tilde O(d^3/\varepsilon)$ 의 실행 시간으로 최적 샘플 복잡도 $T = \tilde O(d/\varepsilon)$ 를 달성한다. 이는 Koren(2013)이 제시한 “$O(d^4/\varepsilon)$ 이하” 목표를 충족시키는 최초의 결과이며, 실질적인 구현에서도 매트릭스 곱셈 비용이 지배적이지 않게 만든다.

마지막으로, LightONS은 OMD 기반이므로 기존 ONS를 활용하던 다양한 파생 알고리즘(그라디언트‑노름 적응, 파라메트릭 밴딧, 메모리 효율 OXO 등)에 그대로 플러그인할 수 있다. 이는 OQNS가 FTRL/OMD와 다른 구조를 가져 적용 범위가 제한된 점과 대비된다.