변동성을 활용한 온라인 볼록 최적화의 새로운 Regret 한계

초록

본 논문은 Hazan과 Kale(2008)의 선형 온라인 최적화에서 제시된 변동성 기반 Regret 분석을 일반적인 온라인 볼록 최적화로 확장한다. 기존 FTRL 알고리즘을 그대로 적용했을 때 발생하는 한계를 지적하고, 두 개의 새로운 알고리즘(개선된 FTRL 및 미러 프록시 기반 알고리즘)을 제안한다. 두 알고리즘은 비용 함수의 순차 변동량(Sequential Variation)에 비례하는 Regret 상한을 제공하며, 밴딧 설정까지 일반화한다.

상세 분석

논문은 먼저 Hazan‑Kale(2008)에서 제시된 FTRL 기반 선형 온라인 최적화의 Regret 한계가 비용 벡터의 총 변동량 (V_{AR}) 에 의해 (\mathcal{O}(\sqrt{V_{AR}})) 로 제어된다는 사실을 재정리한다. 이를 일반적인 볼록 비용 함수 (c_t(\cdot))에 그대로 적용하려 하면, 각 단계에서 실제 비용을 일차 근사 (\nabla c_t(x_t)^\top (x-x_t)) 로 대체하게 되는데, 이때 발생하는 변동량은 두 부분 (V_{AR}^1) (함수 자체의 스무스성)와 (V_{AR}^2) (그라디언트 간 변동)으로 분해된다. 특히 모든 비용 함수가 동일하더라도 (V_{AR}^1) 은 사라지지 않아 Regret이 (\mathcal{O}(\sqrt{T})) 수준에 머무를 위험이 있다. 이러한 한계를 극복하기 위해 저자는 순차 변동량 (V^{s}T = \sum{t=1}^{T-1}\max_{x\in P}|\nabla c_{t+1}(x)-\nabla c_t(x)|^2) 을 도입한다. 이 정의는 인접 시점 사이의 그라디언트 차이에만 초점을 맞추어, 전체 평균과의 차이를 이용하는 기존 정의보다 훨씬 더 타이트한 상한을 제공한다.

두 알고리즘의 핵심 아이디어는 두 개의 해열 시퀀스 (x_{1:T})와 (z_{1:T}) 을 동시에 유지한다는 점이다. 첫 번째 알고리즘은 개선된 FTRL 형태로, 매 단계 (x_t)를 이전 탐색점 (z_{t-1})를 중심으로 한 정규화된 2‑노름 최소화 문제로 정의하고, (z_t)는 누적 그라디언트와 동일한 정규화 항을 포함한 FTRL 업데이트로 얻는다. 이때 사용되는 정규화 파라미터 (\eta)는 (\eta = \min{1, L/\sqrt{V^{s}_T}}) 로 설정되어, 변동량이 작을수록 큰 스텝을 허용한다. 증명에서는 L‑스무스성(그라디언트 리프시츠 연속성) 가 핵심 가정이며, Lemma 2와 Theorem 1을 통해 전체 Regret이 (\mathcal{O}\big(\max{L,\sqrt{V^{s}_T}}\big)) 로 제한됨을 보인다. 즉, 비용 함수가 몇 번만 바뀌면 Regret은 상수 수준에 수렴한다.

두 번째 알고리즘은 Nemirovski의 미러 프록시(Mirror‑Prox) 기법을 변형한 것으로, 동일한 두 시퀀스를 이용하지만 업데이트 규칙이 미러 맵을 통해 더 일반적인 거리 측정(예: 엔트로피 거리)으로 확장된다. 이 알고리즘 역시 동일한 변동량 기반 상한을 달성한다.

마지막으로 밴딧 설정을 고려한 확장도 제시한다. 여기서는 비용 함수의 값만 관찰 가능한 상황에서, 무작위화된 그라디언트 추정기를 사용해 순차 변동량을 추정하고, 위 두 알고리즘을 확률적 버전으로 적용한다. 저자는 변동량이 트라이얼 수와 무관하게 제한될 경우, 제시된 밴딧 알고리즘이 (\Omega(\sqrt{V^{s}_T})) 의 하한을 만족함을 보이며, 이는 변동량 기반 Regret 한계가 최적임을 의미한다.

전체적으로 논문은 변동량을 비용 함수의 시간적 연속성에 직접 연결함으로써, 기존의 (O(\sqrt{T})) Regret을 넘어서는 보다 정밀한 성능 분석을 제공한다. 또한 두 시퀀스 유지라는 새로운 설계 패턴은 향후 다른 온라인 최적화 문제에도 적용 가능성을 시사한다.