가속형 경사하강법을 위한 일반화 연속시간 모델

초록

본 논문은 Nesterov 가속 경사법의 다양한 변형을 하나의 연속시간 프레임워크로 통합한다. 보조 시퀀스 Aₖ를 도입해 일반화된 ODE 모델을 구성하고, Lyapunov 함수 기반으로 수렴 속도를 일괄적으로 도출한다. 기존 여섯 개의 연속시간 모델을 특수 경우로 포함시키며, 새로운 재시작 스킴을 설계해 목적함수값의 단조 감소를 보장한다. 또한 시간 재매개변화를 통해 가속이 표준 gradient flow의 시간 스케일링에 기인함을 밝혀낸다. 실험을 통해 이론적 결과와 모델의 우수성을 검증한다.

상세 분석

논문은 Nesterov 가속 경사법(NAG)의 연속시간 해석을 일반화하는 데 초점을 맞춘다. 핵심 아이디어는 기존의 3‑시퀀스 형태( yₖ, xₖ, zₖ )를 보조 시퀀스 Aₖ와 연결시켜 계수 θₖ, aₖ, sₖ를 Aₖ의 차분 형태로 재표현하는 것이다. 이를 통해 μ=0(일반 볼록)과 μ>0(강볼록) 두 경우를 각각 (NAG‑C)와 (NAG‑SC)라는 연속시간 ODE 형태로 변환한다.

연속시간 모델은
\