헷시안을 건너뛰고 속도는 유지한다: 전역화된 반매끄러운 뉴턴과 지연 헤시안 업데이트

초록

본 논문은 비매끄러운 목적함수에 대해 헤시안을 매번 계산하지 않고 일정 주기로만 갱신하는 반매끄러운 뉴턴(SSN) 알고리즘을 제안한다. 전역적인 수렴 속도와 지역 초선형(γ‑차수) 수렴을 동시에 보장하며, 무한 차원 힐베르트 공간에서도 이론을 전개한다. 실험은 행렬 분해와 Lipschitz 제약 신경망에 적용해 기존 방법 대비 시간 효율성을 입증한다.

상세 분석

이 논문은 기존 2차 최적화 방법이 매끄러운 함수에만 적용 가능하다는 한계를 극복하고자, 비매끄러운(예: ReLU, L1, Huber 등) 문제에 적용 가능한 반매끄러운 뉴턴(SSN) 프레임워크를 전역화한다. 핵심 아이디어는 ‘lazy Hessian updates’이다. 구체적으로, 매 iteration마다 일반화된 헤시안 (H(x))를 새로 계산하는 대신, 일정 주기 (m)마다만 갱신하고 그 사이에는 이전에 저장된 (H(x_{\pi(k)}))를 재사용한다. 이는 비용이 큰 2차 정보의 재계산을 크게 줄이며, 특히 대규모 딥러닝이나 행렬 분해와 같이 차원이 높은 문제에서 실질적인 속도 향상을 제공한다.

알고리즘 1(GLAd‑SSN)은 다음과 같은 구조를 가진다. 외부 루프는 기본 반복을 담당하고, 내부 루프는 라인서치와 정규화 파라미터 (\lambda)를 적응적으로 찾는다. (\lambda)는 현재 서브그라디언트 노름 (|F’(x_k)|^p)에 비례하도록 설계돼, 큰 그래디언트에서는 강한 정규화를, 작은 그래디언트에서는 정규화를 점점 감소시켜 지역 초선형 수렴을 가능하게 한다. 수용 조건(3)은 충분한 감소와 방향성을 보장하며, 이를 만족하면 현재 후보 (x^+)를 받아들여 다음 iterate로 전이한다.

이론적 기여는 크게 네 부분으로 나뉜다. 첫째, Lemma 3.1은 라인서치 내부 루프가 유한 단계 내에 종료함을 보이며, (\lambda_k)가 상한 (\lambda) 이하로 제한됨을 증명한다. 둘째, Theorem 3.2는 비볼록 문제에 대해 전역적인 비점근적 수렴률 (O(1/\sqrt{k}))를, (\lambda_k\to0)이면 (O(1/k))를 얻는다. 셋째, PL 조건을 가정하면 Theorem 3.3이 전역 선형 수렴을, (\lambda_k\to0)이면 초선형 수렴을 보인다. 넷째, 강한 볼록성 및 지역 강도 조건(Assumption 2) 하에, Proposition 4.1과 Theorem 4.2는 (\eta_k\to0) (반매끄러운 미분의 특성)으로부터 (\lambda_k\to0)를 유도하고, 결국 (|F’(x_k)|)와 (|x_{k+1}-x_k|)가 초선형(γ‑order) 속도로 감소함을 증명한다.

특히 무한 차원 힐베르트 공간 설정을 채택함으로써, 함수 (f)가 (C^{1,1})이면서 일반화된 헤시안 (H(x))가 연산 가능하면, 제한된 메모리와 연산량으로도 동일한 수렴 보장을 얻을 수 있음을 보여준다. 이는 기존에 주로 유한 차원에서만 논의되던 전역 수렴률 결과를 무한 차원으로 확장한 점에서 의미가 크다.

실험 부분에서는 (i) 비음수 행렬 분해 문제와 (ii) Lipschitz 제약을 갖는 신경망 학습을 대상으로 GLAd‑SSN을 구현하고, 동일한 정확도 기준에서 기존 전통적 SSN, L‑BFGS, Adam 등을 비교한다. 결과는 특히 (m=5)~(10) 정도의 지연 업데이트 주기를 선택했을 때, 헤시안 계산 비용이 크게 감소하면서도 수렴 속도는 거의 동일하거나 오히려 빠른 것을 확인한다. 이는 ‘lazy’ 전략이 실제 머신러닝 워크로드에서도 실용적임을 입증한다.

전체적으로 이 논문은 비매끄러운 대규모 최적화 문제에 2차 정보를 효율적으로 활용할 수 있는 새로운 이론적·실용적 프레임워크를 제공한다. 전역 수렴률과 지역 초선형 수렴을 동시에 만족시키는 최초의 반매끄러운 뉴턴 방법이며, 헤시안 업데이트를 지연시키는 기법을 비매끄러운 설정에 성공적으로 적용한 점이 가장 큰 혁신이다.