가속형 연속시간 Adam: 2차 비국소 동역학과 라그랑지안 접근

초록

본 논문은 Adam 최적화 알고리즘을 두 차수의 비국소 적분‑미분 방정식으로 모델링하고, 작은 스텝 사이즈 한계에서 기존 1차 비국소 흐름과 연결함을 보인다. Lyapunov 함수 기반의 안정성·수렴 분석과 PL·KL 조건 하의 수렴 속도 결과를 제시하며, 비국소 라그랑지안을 도입해 변분적 관점을 제공한다. 수치 실험을 통해 제안된 연속시간 모델이 실제 Adam 업데이트와 일치함을 확인한다.

상세 분석

이 연구는 Adam의 메모리 메커니즘을 시간적 비국소 연산자로 정확히 포착한다는 점에서 기존 ODE 기반 연속시간 모델과 차별화된다. 저자는 먼저 Adam의 1차 비국소 모델을 복습하고, 이를 기반으로 관성 항과 선형 감쇠를 포함하는 2차 integro‑differential equation (IDE)을 유도한다. 핵심은 순간적 기울기 g(t)와 그 제곱 g(t)²에 대한 지수적 가중 평균을 연속시간에서 인과적 커널 K₁, K₂로 표현한 뒤, 이를 θ(t)의 가속도 방정식 ¨θ(t)+γ · θ̇(t)=−∫₀ᵗK₁(t−s)g(s)ds / √{∫₀ᵗK₂(t−s)g(s)²ds+ε}  형태로 삽입한 것이다. 여기서 γ는 β₁, β₂와 연계된 감쇠 계수이며, α‑refinement 한계(α→0)에서 이 2차 IDE는 1차 비국소 흐름으로 수렴함을 정량적 오차 추정과 함께 증명한다.

안정성 분석에서는 Lyapunov 함수 V(t)=f(θ(t))−f*+½‖θ̇(t)‖²를 구성하고, β₁≤√β₂라는 전통적 Adam 안정 조건 하에서 V̇(t)≤−c‖θ̇(t)‖²+O(α) 형태의 감소 불등식을 얻는다. 이를 통해 전역 유계성 및 수렴성을 확보하고, 추가로 Polyak‑Łojasiewicz(PL)와 Kurdyka‑Łojasiewicz(KL) 가정 하에서 V(t)≤C t^{‑p}+O(α) 형태의 수렴 속도(지수·다항)를 도출한다.

변분적 관점에서는 비국소 라그랑지안 L(θ,θ̇)=½‖θ̇‖²−F