정규화된 경사 하강법의 암묵적 정규화 메커니즘

초록

본 논문은 정규화된 경사 하강법(NGD)을 단계적으로 감소하는 스텝 사이즈와 결합함으로써 평탄한 최소점으로의 암묵적 정규화를 유도한다는 이론적 근거를 제시한다. 이를 위해 미분 포함(differential inclusion)과 Lyapunov 안정성 이론을 비정형 분석 도구로 활용하고, 반대칭성·보존량·층화(stratification) 구조를 통해 정규화 함수 g의 존재 조건을 제시한다. 여러 실험 예시를 통해 제안 방법의 실효성을 검증한다.

상세 분석

논문은 먼저 기존의 정규화된 경사 하강법(NGD)이 비정형 최적화에서 이터레이션의 유계성 및 수렴성을 보장한다는 점을 강조한다. 여기서 핵심은 스텝 사이즈 {α_k}가 ∑α_k=∞·∑α_k^2<∞을 만족하도록 천천히 감소하도록 설계되는 것이다. 이러한 조건 하에 연속 시간 동역학 ˙x=−∇f(x)와 이산화된 NGD 사이의 차이를 미분 포함 형태인 x⁺∈b∇f(x)로 모델링한다. b∇f는 기존의 Bouligand·Clarke 미분과 달리 비보존적이며, 로컬 리프시츠 연속성 및 상반연속성(upper semicontinuity)을 갖는다. 이는 해의 존재와 전역 유계성을 보장하는 핵심적인 성질이다.

다음으로 저자는 p‑d‑Lyapunov 함수 g를 도입한다. 이는 이산화된 시스템에서 g(x_{k+1})−g(x_k)≤−ωα_k^p 형태의 감소 조건을 만족하는 함수이며, 연속 시간에서는 전통적인 Lyapunov 함수와 동일하게 감소한다. 특히, g가 보존량(conserved quantity) 혹은 대칭성에 의해 유도된 경우, g는 자연스럽게 p‑d‑Lyapunov 성질을 갖는다. 논문은 이러한 g가 존재하면 f+g가 강제(coercive)함을 보이고, ∑α_k^p=∞이면 NGD는 f+g의 최소점으로 수렴한다는 정리를 증명한다. 여기서 “평탄한 최소점”은 f의 최소값을 유지하면서 g가 최소가 되는 점을 의미한다.

또한, 정규화된 서브미분 b∇f의 층화(stratification) 구조를 이용해 반정규화(implicit regularization)의 충분조건을 제시한다. 반정규화가 성립하려면 (i) f가 로컬 리프시츠 연속인 반정규(semi‑algebraic) 함수여야 하고, (ii) g가 정상화된 투사 형태 g(x)=‖Π_{T}(x)‖^2 등으로 표현될 수 있어야 하며, (iii) 메트릭 서브레귤러리티(metric subregularity) 조건이 만족되어야 한다. 이러한 조건들은 특히 선형·다항식 구조, Lie 군에 의한 대칭성, 혹은 보존량이 존재하는 경우에 자동으로 충족된다.

실험 섹션에서는 7개의 다양한 비선형 예시를 제시한다. 각 예시마다 f와 g를 명시하고, γ∈