RMSProp 전역 안정성과 단계 크기 강인성

본 논문은 적응형 경사 하강법 중 대표적인 RMSProp 알고리즘의 전역 안정성과 단계 크기(learning‑rate) 변화에 대한 강인성을 시스템 이론적 관점에서 분석한다. 먼저, 문제 설정으로 목적함수 f:ℝ^d→ℝ 가 C¹이며 µ‑강하게 볼록하고 전역적으로 L‑스무스함을 가정한다(Assumption 1). 이러한 가정 하에 RMSProp의 이산‑시간 업데이트는 두 개의 상태 변수 x(t)와 s(t) 로 표현된다. 여기서 s_i(t)는 각 차원별 제곱 그라디언트의 지수 평균이며, β∈(0,1) 은 감쇠 계수, ε>0 은 수치적 안정성을 위한 작은 상수, η(u)=η₀+u(t) 는 기본 학습률 η₀에 외란 u(t) 를 더한 형태이다. 논문의 핵심은 Lyapunov 후보 함수 V(x,s)를 다음과 같이 정의한 점이다. V(x,s)=γ(f(x)−f(x*)) + 2∑_{i=1}^d h(s_i)  (5) γ(ω)=γ₀ ω + (2/3)γ₁ ω³  (6a) h(ω)=√ω+ε log ε − ε log(√ω+ε)  (6b) γ₀와 γ₁은 β, ε, η₀, L, d 등 알고리즘 파라미터에 의해 (7) 에서 명시적으로 정의된다. γ는 목적함수값에 대한 3차 다항식 형태이며, h는 s_i에 대한 로그‑제곱근 함수로, 두 함수 모두 K_∞‑성질(양의 정부호·무한대까지 발산)을 만족한다. Lemma 1에서는 V가 K_∞‑함수임을 증명한다. 구체적으로 γ와 h 각각이 연속·양의 정부호·무한대까지 발산함을 보이고, 이를 이용해 V의 상·하한을 K_∞‑함수 α̂₁, α̂₂ 로 잡는다. 이는 Lyapunov 함수의 기본 요건을 충족한다는 의미이다. Theorem 1은 두 가지 주요 결과를 제시한다. 첫째, u(t)=0 (즉, 고정 학습률 η₀) 일 때, V는 전역 점근 안정성을 보장한다. 즉, 모든 초기값 (x(0),s(0)) 에 대해 (x(t),s(t))→(x*,0) 로 수렴한다. 둘째, u(t) 가 유계 집합 U≥0 에 속하는 임의의 시간변화 함수일 때, V는 입력‑대‑상태 안정성(ISS) 조건을 만족한다. 구체적으로 ΔV ≤ −α(‖(x−x*,s)‖)+σ(‖u‖) 형태로 전개되어, u가 유계이면 상태는 유계 영역에 머무른다. 이는 RMSProp이 학습률을 동적으로 조정하면서도 발산하지 않음을 의미한다. 증명은 크게 세 단계로 구성된다. 1️⃣ ΔV를 전개하고, γ′(·)와 h′(·) 를 이용해 각각의 항에 대한 상한을 구한다. 여기서 γ′(·)>0 와 h′(·)=1/(2(ε+√s_i)) 를 활용한다. 2️⃣ 각 항을 s_i, ∇f(x), u 로만 표현하도록 재정리한다. 특히, β·s_i와 η(u)·γ′·(ε+√s_i)·(ε+√s_i) 형태의 부정적인 항을 추출하고, 나머지 항을 a_i₁₁, a_i₃₁, a_i₄₁ 등으로 묶어 상수 c_γ·s_i 와 ε·β·‖∇f‖² 형태의 감쇠 항을 확보한다. 3️⃣ 최종적으로 ΔV ≤ −∑ β s_i/(ε+√s_i) − (η₀γ₀−3β)‖∇f(x)‖² + κ·‖u‖ 로 정리한다. 여기서 η₀γ₀>3β 와 η₀+η₁<2εL 조건이 핵심적인 역할을 하며, 이를 통해 부정적인 계수를 보장한다. 이러한 분석을 통해 논문은 기존 문헌에서 다루지 못했던 RMSProp의 전역 안정성을 최초로 확립하고, 학습률 변동에 대한 강인성을 ISS 프레임워크로 정량화한다. 실무적으로는 학습 초기 단계에서 큰 학습률을 사용해 빠르게 탐색하고, 이후 작은 학습률로 수렴 정확도를 높이는 전략을 이론적으로 정당화한다. 또한, RMSProp을 기반으로 하는 Adam 계열 알고리즘에 대한 안정성 분석의 토대를 제공한다. 결론적으로, 본 연구는 RMSProp이 강한 수학적 기반 위에 설계된 알고리즘임을 증명하고, 시스템 이론(특히 Lyapunov 및 ISS)과 최적화 이론을 연결함으로써 적응형 학습률 방법의 설계와 튜닝에 새로운 시각을 제시한다.