가속 경사 하강법을 활용한 정규화 위험 최소화와 실험적 검증

초록

본 논문은 Nesterov 가속 경사법(AGM)을 강하게 볼록하고 복합적인 목적함수에 적용하기 위해 Bregman형 prox‑함수를 도입한 확장 프레임워크를 제시한다. 이 프레임워크는 무한 메모리와 1‑메모리 스타일을 모두 포괄하고, Lipschitz 상수를 적응적으로 조정하며, 이중성 갭을 이론적으로 제한한다. 다양한 머신러닝 문제에 적용한 실험 결과, 특히 최대 마진 모델에서 기존 특화 솔버들을 능가하는 수렴 속도와 실용성을 보였다.

상세 분석

논문은 먼저 기존 Nesterov 가속 경사법이 일반적인 부드러운 볼록 함수에만 적용 가능하다는 한계를 지적하고, 이를 강하게 볼록(strongly convex)하고 복합(composite) 구조를 갖는 목적함수로 일반화한다. 핵심 아이디어는 Bregman 거리 기반의 prox‑연산자를 도입해 전통적인 Euclidean 거리 대신 문제 특성에 맞는 거리 측정을 가능하게 하는 것이다. 이를 통해 무한 메모리(infinity‑memory) 방식과 1‑메모리(one‑memory) 방식 두 가지 업데이트 스키마를 하나의 통합 프레임워크 안에 포함시켰다.

프레임워크는 또한 Lipschitz 상수 L을 고정값으로 두지 않고, 라인 서치와 비슷한 적응적 추정 메커니즘을 사용한다. 구체적으로, 현재 반복점에서의 그래디언트 변화를 관찰해 L̂ 를 동적으로 업데이트함으로써 과도한 보수적 스텝 사이즈를 방지하고, 실제 최적화 경로에 더 근접한 스텝을 취한다. 이 과정에서 이중성 갭(duality gap)의 상한을 명시적으로 계산해, 알고리즘이 언제 수렴했는지를 정량적으로 판단할 수 있게 한다.

이론적 분석에서는 강하게 볼록한 경우 O(√(L/μ)·log(1/ε))의 가속 수렴률을, 복합 구조(예: ℓ1 정규화)에서는 O(1/k²) 형태의 비가속 수렴률을 각각 증명한다. 특히, Bregman prox 를 사용함으로써 ℓ1, ℓ2, 엔트로피 등 다양한 정규화 항에 대해 닫힌 형태의 업데이트가 가능해져, 매 반복마다 복잡한 내부 최적화 문제를 풀 필요가 없어진다.

실험 섹션에서는 SVM, 구조적 SVM, 대규모 로지스틱 회귀 등 최대 마진 모델을 대상으로 기존의 SMO, LIBLINEAR, Pegasos 등 특화 솔버와 비교한다. 결과는 제안된 AGM 확장이 동일한 정확도 기준에서 학습 시간과 반복 횟수 모두에서 30%~50% 정도의 개선을 보였으며, 특히 데이터 차원이 높고 샘플 수가 많은 상황에서 그 우수성이 두드러졌다. 또한, 메모리 사용량이 제한된 환경에서도 1‑메모리 버전이 안정적인 성능을 유지함을 확인했다.

전체적으로 이 논문은 Nesterov 가속법을 보다 일반적인 머신러닝 최적화 문제에 적용할 수 있는 이론적 토대와 실용적 구현 방안을 동시에 제공한다는 점에서 큰 의미가 있다.