그라디언트 하강보다 빠른 근사 국소 최소점 탐색
본 논문은 차원과 데이터 수에 선형으로 스케일되는 두 번째 차수 최적화 알고리즘인 FastCubic을 제안한다. 이 알고리즘은 ε‑근사 국소 최소점을 찾는 데 필요한 시간 복잡도가 기존의 그라디언트 하강법보다 더 빠르며, 특히 신경망 학습과 같은 비볼록 목적 함수에 적용 가능하다.
저자: Naman Agarwal, Zeyuan Allen-Zhu, Brian Bullins
본 논문은 비볼록 최적화 문제, 특히 머신러닝에서 흔히 나타나는 대규모 유한합 형태의 손실 함수 f(x)= (1/n)∑_{i=1}^n f_i(x) 에 대해 ε‑근사 국소 최소점(∥∇f(x)∥≤ε, ∇²f(x)≽−√ε·I)을 찾는 새로운 알고리즘 FastCubic을 제안한다. 기존의 비볼록 최적화 연구는 주로 gradient가 0이 되는 임계점 찾기에 초점을 맞추었으며, 이는 saddle point와 같은 비최적점도 포함한다. 그러나 실제 딥러닝 훈련에서는 이러한 임계점보다 Hessian이 양정인 진정한 국소 최소점에 도달하는 것이 더 중요하다는 실험적·이론적 근거가 있다. 이를 해결하기 위해 저자들은 다음과 같은 전략을 채택한다.
1. **문제 설정 및 목표**
- f는 L‑Lipschitz 연속 gradient와 L₂‑Lipschitz 연속 Hessian를 갖는 두 번째 차수 부드러운 함수이다.
- ε‑근사 국소 최소점 정의와 함께, strict‑saddle(α,β,γ) 성질을 소개한다. 이 성질을 만족하면 ε
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기