소멸하는 티호노프 정규화를 이용한 가속 관성 그래디언트 알고리즘

초록

본 논문은 Lipschitz 연속 그라디언트를 갖는 부드러운 볼록 함수의 최소화 문제에 대해, 소멸하는 티호노프 정규화 항을 포함한 명시적 관성 그래디언트 알고리즘(TRIGA)을 제안한다. εₖ = k⁻ᵖ (0<p<2) 형태의 다항 스케줄을 사용하면 목적값은 가속적인 O(1/k²) 수준으로 감소하면서, 생성된 반복열은 최소 노름 해 x* 로 강하게 수렴한다. p=2인 임계 경우에도 목적값 감소는 유지되지만 강수렴은 보장되지 않는다. 다양한 정규화 스케줄에 대한 이론적 분석과 실험을 통해 제안 방법의 효율성을 확인한다.

상세 분석

이 논문은 연속시간 2차 동역학 시스템(TRIGS) ¨x(t)+δ·ε(t)·ẋ(t)+∇f(x(t))+ε(t)x(t)=0을 명시적 시간 이산화하여 얻은 알고리즘을 제시한다. 핵심 아이디어는 티호노프 항 εₖ‖xₖ‖²가 점차 사라지면서도, εₖ가 충분히 느리게 감소하면 궤적이 최소 노름 해 x* 로 강하게 수렴한다는 점이다. 기존 연구들은 주로 암시적 proximal 단계나 두 개의 정규화 항을 도입했지만, 본 방법은 단일 명시적 티호노프 항만으로 가속성과 최소 노름 선택을 동시에 달성한다.

수렴 분석은 Lyapunov 함수 Lₖ = aₖ·(f(xₖ)-f*) + bₖ·‖xₖ-x*‖² 형태를 구성하고, 적절한 계수 aₖ, bₖ를 εₖ와 관성 파라미터 αₖ에 맞춰 설계한다. 이를 통해 (i) 목적값 감소율 f(xₖ)-f* = O(1/k²) (또는 εₖ에 따라 O(1/kᵖ) 등)와 (ii) ‖xₖ-x*‖ →0 (강수렴) 를 동시에 얻는다. 특히 εₖ = k⁻ᵖ (0<p<2)인 경우, εₖ·k →0이면서 Σ εₖ = ∞ 조건을 만족해 강수렴을 보장한다. 반면 p=2이면 Σ εₖ이 발산하지 않으므로 강수렴은 증명되지 않지만, 목적값 감소는 여전히 O(1/k²) 수준을 유지한다.

알고리즘은 다음과 같이 정의된다.

1. 관성 단계: yₖ = xₖ + (1-αₖ)(xₖ - xₖ₋₁)
2. 업데이트 단계: xₖ₊₁ = yₖ - s(∇f(yₖ) + εₖ yₖ)

여기서 αₖ = 1 - 3/(k+1) 등 Nesterov 가속 스케줄을 사용하고, 스텝 크기 s는 0<L·s<1을 만족한다.

이론적 결과는 크게 세 부분으로 나뉜다. 첫째, 일반 εₖ에 대해 Lyapunov 감소를 보이며 O(1/k²) 목적값 수렴을 증명한다. 둘째, εₖ = k⁻ᵖ (0<p<2)인 경우 추가적인 에너지 추정으로 ‖xₖ-x*‖ →0 를 얻는다. 셋째, p=2인 임계 경우에는 목적값 수렴은 유지하지만 강수렴을 보장할 수 없으며, 이는 εₖ가 너무 빨리 사라져 Σ εₖ가 발산하지 않기 때문이다.

실험에서는 (i) 단순 2차 함수, (ii) 선형 최소제곱, (iii) 로지스틱 회귀 문제를 대상으로 TRIGA를 NAG, NADTR, IPATRE 등 기존 가속 관성 알고리즘과 비교하였다. 결과는 동일하거나 더 빠른 목적값 감소와, 특히 최소 노름 해가 필요할 때 (예: 과적합 방지를 위한 정규화) 높은 정확도를 보였다. 또한, εₖ 스케줄을 조절함으로써 수렴 속도와 해의 선택성 사이의 트레이드오프를 실험적으로 확인하였다.

이 논문의 기여는 (1) 단일 명시적 티호노프 항만으로 강수렴과 가속을 동시에 달성한 새로운 알고리즘을 제시, (2) 일반 εₖ 스케줄에 대한 포괄적인 수렴 분석을 제공, (3) 실험을 통해 이론적 결과를 실용적인 데이터셋에 검증한 점이다. 향후 연구는 비볼록 함수, 확률적 그라디언트, 그리고 Hessian‑driven 감쇠와 결합한 변형에 대한 확장을 기대한다.