비선형 GMRES 최적화에 스테프디센트 전처리 적용

본 논문은 비선형 일반화 최소 잔차(Nonlinear GMRES, N‑GMRES) 최적화 알고리즘에 스테프디센트 전처리를 적용함으로써, 기존의 ALS‑기반 전처리와는 독립적인 보편적인 가속 기법을 제시한다. 논문은 먼저 N‑GMRES 최적화 프레임워크를 소개한다. 이 프레임워크는 세 단계로 구성된다. ① 전처리 단계 M(·) 를 통해 임시 해 \(\bar u_{i+1}\) 를 생성하고, ② 비선형 GMRES 단계에서 최근 w 개의 이터레이션을 선형 결합해 가속된 해 \(\hat u_{i+1}\) 를 만든 뒤, ③ 라인서치를 수행해 최종 해 \(u_{i+1}\) 를 얻는다. 기존 연구에서는 ALS가 전처리 M(·) 역할을 수행했으며, 이 전처리가 N‑GMRES 가속에 핵심적인 역할을 함을 보였다. 본 연구는 이러한 전처리 M(·) 를 가장 기본적인 스테프디센트 업데이트로 대체한다. 구체적으로 두 변형을 제안한다. 옵션 A는 전통적인 라인서치(워프 조건 만족)를 통해 스텝 \(\beta_{sdls}\) 를 결정하고, \(\bar u_{i+1}=u_i-\beta_{sdls}\nabla f(u_i)\) 를 수행한다. 옵션 B는 사전에 정의된 작은 상수 \(\delta\) 와 현재 그래디언트 노름의 최소값을 이용해 \(\beta_{sd}=\min(\delta,\|\nabla f(u_i)\|)\) 를 정의한다. 옵션 B는 라인서치 비용을 회피하면서도 충분히 작은 이동을 보장한다. 수렴 이론은 옵션 A에 대해 전역 수렴성을 증명한다. 가정은 (i) \(f\) 가 연속적으로 미분 가능하고 하한을 갖는다, (ii) 라인서치가 Wolfe 조건을 만족한다, (iii) 그래디언트가 유계이다. 증명은 전처리 단계가 감소 방향을 제공하고, N‑GMRES 단계가 이 방향들을 선형 결합해 그래디언트 노름을 최소화함을 이용한다. 결과적으로 \(\|\nabla f(u_k)\|\to0\) 임을 보인다. 옵션 B는 자체적인 수렴 보장은 없지만, 전처리 단계가 점차 작아지면 N‑GMRES가 충분히 가속화 역할을 수행한다는 실험적 근거를 제시한다. 스테프디센트 전처리의 의미를 명확히 하기 위해 2차 목표 \(f(u)=\frac12u^TAu-b^Tu\) (SPD \(A\)) 를 고려한다. 이 경우 그래디언트는 \(\nabla f(u)=Au-b=-r\)이며, 전처리 업데이트는 \(\bar u_{i+1}=u_i+\beta r_i/\|r_i\|\) 가 된다. 이는 선형 시스템 \(Au=b\) 에 대한 정적 반복 \(u_{i+1}=u_i+M^{-1}r_i\) (여기서 \(M^{-1}= \beta I/\|r_i\|\)) 과 동등하며, N‑GMRES는 비전처리 GMRES가 생성하는 Krylov 공간 \(K_{i+1}(A^{-1}r_0)\) 을 동일하게 탐색한다. 따라서 스테프디센트 전처리 N‑GMRES는 전통적인 GMRES와 같은 수렴 특성을 갖는다. 수치 실험에서는 다섯 개의 대표적인 비선형 최적화 문제를 선정하였다. (1) 비선형 방정식 \(x^4-3x+1=0\) (2) 텐서 CP 분해를 위한 ALS (3) 로지스틱 회귀 (4) 비선형 파라미터 식별 문제 (5) 다중 변수 라그랑주 함수. 각 문제에 대해 옵션 A, 옵션 B 전처리 N‑GMRES, 순수 스테프디센트, 비선형 conjugate gradient(N‑CG), 제한 메모리 BFGS(L‑BFGS)를 비교하였다. 결과는 전처리 N‑GMRES가 반복 횟수와 함수·그래디언트 평가 수 모두에서 현저히 적은 비용으로 수렴했으며, 특히 옵션 B는 라인서치 비용을 거의 소모하지 않음에도 불구하고 수렴 속도가 크게 향상되었다. 일부 문제에서는 N‑CG와 L‑BFGS보다 2~5배 빠른 수렴을 보였다. 마지막으로 저자는 N‑GMRES 프레임워크가 문제 특화 전처리와 결합될 경우 더욱 큰 가속 효과를 기대할 수 있음을 강조한다. 스테프디센트 전처리는 가장 보편적인 베이스라인이자, 복잡한 전처리 설계(예: 다중그리드, 도메인 분해, 전처리된 ALS 등)의 출발점으로 활용 가능하다. 논문은 스테프디센트 전처리 N‑GMRES가 일반적인 비선형 최적화에 적용 가능한 강력하고 유연한 가속기임을 이론적 증명과 풍부한 실험을 통해 입증한다.