곡률 정규화 기울기 역학을 통한 정밀한 안장점 탈출

초록

본 논문은 목적함수에 가장 작은 Hessian 고유값에 대한 부드러운 패널티를 추가한 곡률‑정규화 기울기 역학(CRGD) 을 제안한다. 강화된 비용 Φ는 최적화 라플라스 함수로 작동하며, 사용자가 지정한 수렴 법칙(지수, 유한시간, 고정시간, 사전‑시간) 에 따라 정확히 라플라스 감소를 강제한다. 엄격한 안장점은 Φ의 비임계점이 되므로 동역학이 통과하며, β 가 충분히 작을 때 발생 가능한 스퓨리어스 임계점도 다시 안장점이 된다. 이론적으로는 2차 정지점(SOSP)으로의 수렴을 보장하고, 탈출 시간은 가장 작은 음의 고유값의 절댓값 δ에 비례(O(δ))한다. 실험에서는 비선형 행렬 분해 문제에서 기존 GD는 δ⁻¹에 비례하는 탈출 시간을 보이는 반면, CRGD는 δ에 비례하는 빠른 탈출을 확인하였다.

상세 분석

CRGD는 기존 최적화 라플라스(OLF) 프레임워크를 확장한 형태이다. OLF에서는 상태 x를 단일 적분기 ˙x = u 로 모델링하고, V(x)≥0 인 라플라스 함수를 설계해 ˙V = −σ(V,t) 를 만족하도록 제어 입력 u 를 직접 유도한다. 여기서 핵심은 V의 영집합이 목표 최적점 집합 X* 과 일치하고, V의 그래디언트가 V>0인 영역에서 영이 되지 않아야 한다는 점이다. 기존에 제안된 V₁=½‖∇J‖²는 1차 정보만 반영해 안장점과 최소점을 구분하지 못하고, ∇V₁=H∇J 가 Hessian의 영공간에서 사라지는 문제를 가진다. 이를 보완하기 위해 저자는 Hessian의 최소 고유값 λ_min(x) 에 대한 부드러운 패널티 P(x)=β²/2·max(0,−λ_min)² 를 도입한다. 이 패널티는 λ_min≥0(즉, 양의 준정부호 Hessian)에서는 사라져 원래 목적함수와 동일하고, λ_min<0인 영역에서는 비용을 상승시켜 안장점 근처에서 기울기 ∇Φ = ∇J−β²·max(0,−λ_min)·w_min 을 생성한다. 여기서 w_min=∇λ_min 는 1차 미분으로 얻어지는 곡률 민감도 벡터이며, λ_min이 단순 고유값일 때 C¹ 로 정의된다. 결과적으로 안장점에서는 ∇J=0이지만 w_min≠0 이면 ∇Φ≠0 이므로 동역학이 안장점을 통과한다. 또한, β가 충분히 작을 경우 λ_min<0인 스퓨리어스 임계점에서도 Hessian ∇²Φ 에 음의 고유값이 남아 안장점 성질을 유지한다는 정리가 제시된다.

수렴 법칙 σ(V,t)은 지수형, 유한시간형, 고정시간형, 사전시간형 네 가지 중 자유롭게 선택 가능하며, 선택된 σ에 따라 u=−σ(V,t)·∇Φ/‖∇Φ‖² 가 정확히 ˙V=−σ(V,t) 를 만족한다. 따라서 사용자는 원하는 수렴 속도와 탈출 시간 상한을 직접 지정할 수 있다. 이와 같은 “선택 가능한 수렴률”은 기존 방법들—예: 순수 GD(선택 불가, 탈출 시간 O(1/δ)), 확률적 PGD(확률 보장), Cubic Regularization(고정 O(1) 복잡도) 등—과 차별화된다.

이론적 분석은 다음 가정에 기반한다. (1) J∈C⁴ (4차 연속 미분 가능)로 Hessian의 1차 민감도 존재, (2) 모든 엄격 안장점에서 λ_min이 단순 고유값이며 ∇λ_min≠0, (3) 하위 수준 집합이 콤팩트(경로 유계). 이러한 가정 하에 Φ는 거의 전역에서 C¹,¹이며 Lipschitz 연속성을 유지한다. 또한, Assumption 3.2 (∇Φ≠0 whenever Φ>Φ* and x is not a local minimizer) 를 통해 제어 입력이 정의역 전체에서 유효함을 보장한다.

실험에서는 비선형 행렬 분해 문제 min_{U,V}‖UVᵀ−M‖_F² 에 대해 다양한 초기값과 δ 값을 설정하였다. GD는 δ가 작아질수록 탈출 시간이 급격히 증가했으며, 최악의 경우 수천 단계가 필요했다. 반면 CRGD는 β=0.5 정도의 적당한 패널티 가중치를 사용했을 때, 탈출 시간이 δ에 비례해 선형적으로 감소했으며, 모든 시뮬레이션에서 100% 성공적으로 2차 정지점에 도달했다. 계산 복잡도는 매 단계 Hessian‑vector 곱 대신 λ_min과 w_min을 추정하기 위한 Lanczos/Power iteration을 사용해 O(n³) 정도였으며, 이는 Cubic Regularization이나 Newton‑based 방법과 동일하거나 약간 높은 수준이다.

한계점으로는 (i) λ_min과 w_min을 정확히 계산하기 위한 추가 비용, (ii) β 선택이 문제에 따라 민감할 수 있음, (iii) Assumption 2.3 (단순 고유값)와 Assumption 3.2 가 위배되는 특수 구조(예: 고차원 대칭 문제)에서는 이론 보장이 약해질 수 있다. 향후 연구에서는 저비용 근사 방법, 적응형 β 스케줄링, 그리고 비정규화된 목적함수에 대한 확장 등을 제안한다.