연속화된 네스테르로프 모멘텀으로 추가 메커니즘 없이 ε⁻⁷ᐟ⁴ 복잡도 달성

초록

본 논문은 Lipschitz 연속 그라디언트와 Hessian을 갖는 비볼록 함수에 대해, 기존에 보안 검증·재시작·음의 곡률 활용 등 보조 메커니즘이 필요하다고 여겨졌던 O(ε⁻⁷ᐟ⁴) 복잡도를, 순수하게 확률적 파라미터를 가진 연속화 네스테르로프 모멘텀 알고리즘만으로도 기대값 기준에서 달성함을 증명한다. 결과는 함수와 무관한 확률 변수와 실현 집합에 의존하지만, 실험적으로 이 제한이 완화된다는 점을 확인한다.

상세 분석

이 연구는 비볼록 최적화에서 1차 알고리즘이 달성할 수 있는 최선의 복잡도 O(ε⁻⁷ᐟ⁴)를 기존 알고리즘이 사용하던 “보안 검증 → 대체 메커니즘” 구조 없이도 구현할 수 있음을 보여준다. 핵심 아이디어는 연속화(Numerical Continuization) 기법을 이용해 Nesterov Momentum(NM)의 연속시간 버전을 정의하고, 이 연속시간 과정(CNE)을 포아송 점 과정으로 이산화하여 얻은 연속화 Nesterov 알고리즘(CNA)을 분석하는 것이다.

1. 연속화 모델링: 시간 간격 Tₖ₊₁−Tₖ를 평균 1인 지수분포로 샘플링하고, 각 구간에서 연속적인 선형 결합(dxₜ = η(zₜ−xₜ)dt, dzₜ = η′(xₜ−zₜ)dt)으로 움직이다가 점프 시점에 gradient step을 삽입한다. 이 과정은 (CNE)라는 확률 미분 방정식으로 표현되며, 점프 시점에만 gradient를 사용하므로 구현 비용은 기존 1차 방법과 동일하다.

2. 이산화와 파라미터 랜덤화: 점프 시점에 대한 기대값을 이용해 ˜yₖ, ˜xₖ, ˜zₖ를 정의하면, αₖ와 βₖ가 Tₖ₊₁−Tₖ에 의존하는 확률적 모멘텀 파라미터를 갖는 Nesterov 형태의 업데이트식(1)을 얻는다. 즉, 전통적인 고정 α, β 대신 e^{-(η+η′)(ΔT)} 형태의 가중치가 무작위로 변한다.

3. 연속시간 Lyapunov 분석: Lemma 3.1에서는 η, η′, γ, γ′를 적절히 선택하면 연속시간 과정의 에너지 형태
   E