폴리악 무거운 공 방법이 PL 부등식 아래에서 가속 수렴을 달성한다

초록

본 논문은 비볼록 C⁴ 목적함수에 대해 폴리악의 무거운 공(Heavy‑Ball) 방법을 연속·이산 시간 모두에서 분석한다. 함수가 폴리악‑Łojasiewicz(PL) 부등식을 만족하면, 기존 강한 볼록성 가정 없이도 원래 폴리악이 제시한 지수적 수렴률 (e^{-2\sqrt{\mu}t}) (연속)와 (\bigl(\frac{\sqrt{\kappa}-1}{\sqrt{\kappa}+1}\bigr)^{2n}) (이산)를 회복한다. 특히 이산 시간에서는 충분히 작은 최소점 근방에 진입하면, 관성 파라미터와 스텝 사이즈를 공격적으로 선택해도 지역 수렴이 보장된다. 기존 Lyapunov 기반 증명 대신, PL 부등식의 미분기하학적 해석을 활용한다.

상세 분석

이 연구는 두 가지 핵심 질문에 답한다. 첫째, PL 부등식만으로 무거운 공 ODE (\dot x=v,;\dot v=-\alpha v-\nabla f(x)) 가 강한 볼록성 없이도 원래 폴리악이 제시한 지수적 수렴률 (e^{-2\sqrt{\mu}t}) 을 달성할 수 있는가? 둘째, 동일한 PL 가정 하에서 이산형 무거운 공 알고리즘 (x_{n+1}=x_n-\gamma\nabla f(x_n)+\beta(x_n-x_{n-1})) 이, 전역 수렴이 불가능한 경우가 존재함에도 불구하고, 최소점 근방에 들어섰을 때 가속된 지역 수렴을 보장할 수 있는가?

저자들은 먼저 (f) 가 (C^4) 이고, 최소점 (x^*) 주변에서 PL 부등식과 (L)-리프시츠 연속성을 만족하는 ((\mu,L))-regular 포인트라는 정의를 도입한다. 이 정의는 최소점 집합이 (C^2) 다양체를 형성하고, 거리 제곱에 비례해 함수값이 증가한다는 기하학적 의미를 갖는다. 이를 기반으로, 정상 흐름(Normal flow)과 접선 흐름(Tangential flow)을 분리하는 좌표계를 구성한다. 정상 방향에서는 강한 복원력이 존재해 (|x_t-x^*|) 가 (e^{-m(\alpha)t}) 속도로 수축하고, 이는 곧 (|\nabla f(x_t)|) 가 동일한 속도로 사라짐을 의미한다. 마찰 (\alpha) 가 최적값 (2\sqrt{\mu}) 일 때 (m(\alpha)=\sqrt{\mu}) 가 되며, 이는 폴리악이 1964년에 제시한 최적 연속 수렴률과 일치한다.

이산 경우에는 기존 연구가 제시한 파라미터 영역(작은 (\gamma,\beta))을 넘어서는 ‘공격적’ 선택을 허용한다. 저자는 (\gamma\in(0,2(1+\beta)L)) 와 (\beta\in(0,1)) 조건 하에, 어느 시점 (N) 에서 두 연속된 iterate가 (x^*) 근방 (V) 에 들어가면 전체 시퀀스가 (x^*) 로 수렴함을 보인다. 수렴 속도는
\