Nesterov 가속 경사법, 무한 하한 볼록 함수에서 이중공간 최소노름점 찾기

초록

본 논문은 하한이 없는 볼록 함수 $f$에 대해 1차 최적화 알고리즘이 어떻게 발산하는지를 정량화한다. Gradient Descent는 $f$의 원문제와 도함수 공역의 최소노름점 $p^*$를 찾는 이중문제를 동시에 $\mathcal O(k^{-1})$ 속도로 해결함을 보이고, Nesterov 가속 경사법(NAG)은 별도 수정 없이 두 문제를 $\mathcal O(k^{-2})$ 속도로 해결한다. 이를 통해 무한 하한 여부를 빠르게 판단하고, 발산 방향을 $-p^*/|p^*|$로 정확히 규명한다.

상세 분석

논문은 먼저 $f\in\mathcal F_L(\mathbb R^n)$가 하한이 없을 때 $\inf f=-\infty$임을 가정하고, 이 경우 $\nabla f(\mathbb R^n)=\operatorname{dom}f^*$가 원점에서 떨어진 폐볼록집합이 된다. 따라서 $\min_{p\in\operatorname{dom}f^*}|p|^2/2$라는 이중공간 최소노름 문제를 정의하고, 이 문제의 최적점 $p^*$는 $\operatorname{dom}f^*$의 최소노름점으로 존재한다(폐집합이므로 유일).

핵심 관찰은 Gradient Descent (GD)와 Mirror Descent (MD)의 궤적이 서로 대응한다는 점이다. 구체적으로 $x_k$를 GD의 반복점이라 하면 $X_k:=\nabla f(x_k)$는 $p^*$를 목표로 하는 MD의 $k$번째 반복점과 동일하다. MD에 대한 기존 수렴 결과 $|X_k-p^*|=O(k^{-1})$를 이용하면 $|\nabla f(x_k)-p^*|=O(k^{-1})$를 얻는다. 이는 $f$가 하한이 있을 때는 $p^*=0$이므로 $|\nabla f(x_k)|=O(k^{-1})$와 일치한다. 또한 $-(x_{k+1}-x_k)/\eta=\nabla f(x_k)\to p^*$이므로 평균 이동 $-(x_k-x_0)/(k\eta)\to p^*$가 된다. 따라서 $x_k$는 $-p^*/|p^*|$ 방향으로 선형 속도 $\eta|p^*|$만큼 발산한다.

다음으로 Nesterov 가속 경사법(NAG)을 살펴본다. 연속시간 모델인 NAG ODE $\ddot x+3t^{-1}\dot x+\nabla f(x)=0$를 도입하고, 이를 AMD(Accelerated Mirror Descent) ODE와 대응시킨다. 정확히 $X(t)=-4t\dot x(t)$라 두면 $X(t)$는 (2) 문제에 대한 AMD ODE 해와 일치한다. 따라서 $p(t):=-4t\dot x(t)$는 $p^*$에 $O(t^{-2})$ 속도로 수렴한다. 시간 적분을 통해 $-8t^2(x(t)-x(0))\to p^*$도 $O(t^{-2})$ 수렴한다.

이 연속시간 결과를 이산화하면, 기존 NAG 알고리즘(3)에서도 동일한 수렴률을 얻는다. 논문은 일반적인 가속 경사 프레임워크(스칼라 $P_k,Q_k$를 이용) 안에서, 정규화된 음의 증가량 $p_k:=-P_k(x_{k+1}-x_k)$와 정규화된 음의 변위 $q_k:=-Q_k(x_k-x_0)$가 모두 $O(k^{-2})$로 $p^*$에 수렴함을 증명한다. 특히 $p^*=0$인 경우는 기존의 최적값 수렴 $f(x_k)-\min f=O(k^{-2})$와 일치한다.

결과적으로 NAG는 원래 목적이던 $f$ 최소화와 동시에 이중공간 최소노름 문제를 가속화된 속도로 해결한다. 이는 무한 하한 여부를 판단할 때, GD보다 $O(k^{-1})$에서 $O(k^{-2})$로 판단 속도가 두 배 빨라짐을 의미한다. 또한 $g(x)=f(x)-\langle p^*,x\rangle$를 정의하면 $g$ 역시 동일한 $O(k^{-2})$ 수렴을 보인다.

논문은 이론적 증명 외에도 행렬 스케일링, 기하프로그래밍 등 실제 적용 사례를 언급하며, $\operatorname{dom}f^*$가 닫힌 집합인 경우(예: 폴리토프)에는 $p^*$가 항상 존재함을 강조한다. 마지막으로 향후 연구 방향으로 비유클리드(하다마드) 공간 확장, 최적 가속도 한계, 그리고 $p^*$를 이용한 새로운 정규화 기법 제안을 제시한다.