상대적 부드러움 기반 확률적 미러 하강법의 최적 수렴 속도

초록

본 논문은 상대적 부드러움(relative smoothness) 개념을 이용해 확률적 미러 하강법을 확장하고, 두 가지 새로운 알고리즘인 Relative Randomized Coordinate Descent(relRCD)와 Relative Stochastic Gradient Descent(relSGD)를 제안한다. relRCD는 선형 수렴률을 보이는 최초의 확률적 미러 하강법이며, relSGD는 상대적 강한 볼록성 하에서 O(1/t), 일반 상대적 부드러움 하에서는 O(1/√t) 수렴을 달성한다.

상세 분석

이 논문은 기존의 L‑Lipschitz 연속 그라디언트 가정을 완화하는 상대적 부드러움 개념을 핵심으로 삼는다. 상대적 부드러움은 기준 함수 h 에 대한 Bregman 거리 D_h 를 이용해 f(x) ≤ f(y) + ⟨∇f(y),x−y⟩ + L D_h(x,y) 라는 부등식으로 정의되며, h가 ½‖·‖²일 때는 전통적인 L‑smooth와 동일하다. 이 정의는 비선형·비유클리드 구조에서도 그라디언트 기반 방법을 적용할 수 있게 해준다.

논문은 먼저 상대적 강한 볼록성(μ‑strong convexity relative to h)과의 결합을 통해 수렴률을 분석한다. 상대적 강한 볼록성은 f(y) ≥ f(x) + ⟨∇f(x),y−x⟩ + μ D_h(y,x) 로 정의되며, 이는 전통적인 μ‑strong convexity을 일반화한다. 이러한 두 조건을 만족하면, 상대적 그라디언트 하강법(relGD)은 전통적인 GD와 동일한 형태이지만, 스텝 사이즈 L 이 Bregman 거리에 의해 조정된다.

확률적 확장은 두 가지 경로로 진행된다. 첫 번째는 좌표를 무작위로 선택하는 relRCD이다. 여기서는 각 반복에서 τ개의 좌표를 샘플링하고, 기대 가능한 분리 근사(ESO) 불등식 E