비선형 최소제곱 조정의 기하학

초록

본 논문은 Palzan 보조정리를 활용하여 비선형 최소제곱(Non‑Linear Least Squares, NLLS) 문제의 기하학적 구조를 체계적으로 전개한다. 관측값이 형성하는 매니폴드와 파라미터 공간 사이의 미분기하학적 관계를 도출하고, 이를 통해 Gauss‑Newton 및 Levenberg‑Marquardt 알고리즘의 수렴 특성을 기하학적 시각에서 설명한다. 또한, 수치 실험을 통해 제시된 이론이 실제 측량·지구과학 데이터에 적용 가능함을 검증한다.

상세 분석

논문은 먼저 비선형 최소제곱 문제를 관측 함수 f : ℝⁿ→ℝᵐ 로 정의하고, 잔차 r(x)=y−f(x) 의 제곱합 Φ(x)=‖r(x)‖² 을 최소화하는 목표를 제시한다. 여기서 핵심은 파라미터 공간 ℝⁿ 위에 정의된 매니폴드 𝓜 = {f(x) | x∈ℝⁿ} 의 기하학적 성질을 파악하는 것이다. 저자는 Jacobian J(x)=∂f/∂x 를 매니폴드의 접공간에 대한 기저로 해석하고, JᵀJ 를 Riemannian metric g(x) 으로 정의한다. 이때 g(x) 는 파라미터 변동이 관측 공간에서 어떻게 거리와 방향을 변형시키는지를 정량화한다.

Palzan 보조정리는 “접공간의 곡률이 잔차의 2차 미분과 연관된다”는 내용을 담고 있다. 구체적으로, Hessian H(x)=∇²Φ(x) 는 g(x)와 잔차의 외적 r(x) 을 포함하는 형태
H(x)=2 JᵀJ + 2 ∑_{i=1}^m r_i(x) ∇²f_i(x)
로 전개된다. 첫 번째 항은 매니폴드의 내재적 곡률을, 두 번째 항은 잔차가 비선형성을 얼마나 크게 왜곡하는지를 나타낸다. Palzan 보조정리는 두 항 사이의 비율이 작을수록(즉, 잔차가 작고 곡률이 완만할수록) Gauss‑Newton 단계가 급격히 수렴함을 보장한다는 정리를 제공한다.

이론적 전개를 바탕으로 논문은 Levenberg‑Marquardt 알고리즘을 “곡률 보정된 가우시안 뉴턴 단계 + 정규화 항”으로 재해석한다. 정규화 파라미터 λ 는 매니폴드의 초점곡률(Sectional curvature)과 직접 연결되며, λ가 커질수록 알고리즘은 고곡률 영역을 회피하고 보다 안정적인 경로를 탐색한다는 기하학적 해석을 제시한다.

또한, 저자는 관측 오류 공분산 Σ 을 고려한 가중 최소제곱 형태를 도입하여, g(x)=JᵀΣ⁻¹J 로 정의함으로써 Riemannian metric이 오류 구조에 따라 비등방성(anisotropic)으로 변함을 강조한다. 이 경우 Palzan 보조정리는 오류 가중치가 큰 방향에서의 곡률이 수렴 속도에 미치는 영향을 정량화한다.

수치 실험에서는 위성 레이저 거리 측정, 지진파 도플러 변위, 그리고 비선형 회귀 모델을 대상으로 실험을 수행한다. 실험 결과는 Palzan 보조정리가 제시하는 곡률‑잔차 비율이 0.1 이하인 경우 Gauss‑Newton이 5~7회 반복만에 수렴하고, Levenberg‑Marquardt은 λ 조정에 따라 곡률이 급변하는 지역에서도 안정적으로 수렴함을 보여준다.

결론적으로, 논문은 비선형 최소제곱 조정 문제를 단순한 최적화가 아니라 매니폴드 위의 곡률과 거리 구조를 가진 기하학적 문제로 재정의함으로써, 기존 알고리즘의 수렴 이론을 보다 직관적이고 일반화된 형태로 확장한다는 점에서 학술적·실무적 의의를 가진다.