프리컨디셔닝된 경사하강법과 벡터 외삽 기법의 융합으로 비선형 최소제곱 문제 해결

초록

본 논문은 프리컨디셔닝된 경사하강법(PGD, SGD)에 벡터 외삽 기법(RRE, MPE, VEA)을 결합한 하이브리드 알고리즘을 제안한다. 실험을 통해 기존 방법보다 수렴 속도와 해의 정확도가 크게 향상됨을 확인하고, 일반화된 Krylov 서브스페이스 기반 Gauss‑Newton 방법과도 경쟁력 있는 성능을 보였다.

상세 분석

논문은 비선형 최소제곱 문제 ( \min_x |y-f(x)|2^2 ) 에 대해 두 가지 축을 동시에 강화한다. 첫 번째 축은 프리컨디셔닝된 경사하강법이다. 여기서 프리컨디셔너 (H_k) 를 Jacobian (J_f(x_k)) 의 대각 성분 혹은 (J_f^T J_f) 의 대각 성분으로 선택해, 스케일링된 방향 (d_k=-H_k^{-1}\nabla g(x_k)) 를 얻는다. 두 번째 축은 벡터 외삽 기법으로, RRE(Reduced Rank Extrapolation), MPE(Minimal Polynomial Extrapolation), VEA(Vector ε‑algorithm) 세 가지를 사용한다. 이들 외삽은 기존 반복열 (s_k) 에 대해 (t{k,q}=s_k-\Delta S_{k,q}Y_q^T\Delta^2 S_{k,q}^{-1}Y_q^T\Delta s_k) 와 같은 형태로 새로운 추정값을 만든다. 핵심 이론은 외삽이 (\Delta s_k) 를 (W_{k,q}=\operatorname{span}{\Delta^2 s_k,\dots,\Delta^2 s_{k+q-1}}) 에 투영하고, (L_{k,q}=\operatorname{span}{y^{(k)}0,\dots,y^{(k)}{q-1}}) 에 직교화한다는 점이다. 이는 Krylov 서브스페이스에서의 직교 투영과 동일시될 수 있어, 외삽이 본질적으로 고차원 선형 시스템을 저차원으로 압축하는 역할을 한다는 의미다.

알고리즘 구현에서는 두 가지 적용 전략을 제시한다. Acceleration Method(AM)는 매 (q) 스텝마다 외삽을 수행해 즉시 새로운 추정값을 사용하고, Restarted Method(RM)는 일정 횟수(예: (q=5))마다 외삽을 적용하고 이후 반복을 재시작한다. 이렇게 하면 메모리 사용량과 연산 복잡도가 제어된다.

프리컨디셔닝과 외삽을 결합한 하이브리드 방법은 크게 네 가지 형태로 실험된다: RRE‑PGD, MPE‑PGD, RRE‑SGD, MPE‑SGD, 그리고 VEA‑PGD/SGD. 각 방법은 라인 서치를 통해 Armijo 조건 (g(x_{k+1})\le g(x_k)-\omega\tau_k\langle H_k^{-1}\nabla g(x_k),\nabla g(x_k)\rangle) 을 만족하도록 스텝 크기 (\tau_k) 를 조정한다.

실험에서는 (1) 파라미터 (\lambda) 가 큰 경우 ill‑conditioned Bratu 문제, (2) 확장된 Bratu 변형, (3) 극히 희소한 비선형 시스템을 사용했다. 결과는 다음과 같다. 외삽을 적용한 경우 평균 반복 횟수가 30‑70 % 감소했으며, 상대 재구성 오차는 10⁻⁴ 수준에서 10⁻⁶ 수준으로 개선되었다. 특히 RRE‑PGD와 MPE‑SGD는 동일한 전처리와 외삽 없이 수행한 순수 PGD/SGD 대비 2배 이상 빠른 수렴을 보였다. 시간 측면에서도 외삽 연산이 추가되었음에도 전체 실행 시간이 감소했는데, 이는 외삽이 제공하는 고차원 정보가 라인 서치와 스텝 선택을 크게 효율화하기 때문이다.

마지막으로, 제안된 하이브리드 방법을 일반화된 Krylov 서브스페이스 기반 Gauss‑Newton(GNKS)과 비교하였다. GNKS는 Jacobian‑Free 방식과 사전 정의된 서브스페이스 차원 (m) 을 이용해 고정된 비용을 갖지만, 조건이 나쁜 문제에서는 수렴이 느리거나 발산한다. 반면, 외삽‑가속 PGD/SGD는 동적으로 서브스페이스를 구성하고, 프리컨디셔닝 덕분에 스케일링 문제를 완화한다. 실험 결과, 동일한 정확도 목표(상대 오차 10⁻⁶)에서 GNKS는 평균 150 iteration, 12 초를 소요한 반면, RRE‑PGD는 80 iteration, 6 초, MPE‑SGD는 70 iteration, 5.5 초를 기록했다.

요약하면, 프리컨디셔닝된 경사하강법에 벡터 외삽을 결합하면 (1) 수렴 속도 가속, (2) 해의 정확도 향상, (3) 메모리·연산 효율성 유지라는 세 마리 토끼를 잡을 수 있다. 이는 대규모 비선형 최소제곱 문제, 특히 조건이 나쁘거나 희소 구조를 가진 문제에 적용 가능한 강력한 프레임워크로 평가된다.