빠른 그래디언트 서포트 벡터 머신

초록

NESVM은 힌지 손실과 ℓ₁ 정규화를 부드럽게 만든 뒤, 라인서치 없이 최적의 2차 수렴률 O(1/k²) 을 달성하는 프라임 SVM 솔버이다. 매 반복마다 두 번의 행렬‑벡터 곱만 수행하고, 선형·비선형 커널 모두 지원한다. 또한 매끄러운 파라미터를 점진적으로 감소시키는 동적 연속법(호모토피 NESVM)으로 초기 수렴 속도를 높인다. 실험 결과, 기존 SVM‑Perf와 Pegasos 대비 학습 시간이 크게 단축되면서 정확도는 유지된다.

상세 요약

NESVM 논문은 대규모 데이터와 고차원 특징을 다루는 실용적인 SVM 적용에 초점을 맞추었다. 기존 SVM 솔버들은 주로 이중 문제를 풀거나, 서브그라디언트 기반 온라인 학습을 사용한다. 이 경우 수렴 속도가 각각 O(1/√k) 혹은 O(1/k) 수준에 머물러, 수천·수만 번의 반복이 필요해 실시간 혹은 대규모 환경에 부적합하다. NESVM은 이러한 한계를 극복하기 위해 두 가지 핵심 아이디어를 도입한다. 첫째, 프라임 형태의 목적함수에 포함된 비미분 가능한 힌지 손실과 ℓ₁ 정규화 항을 Nesterov의 부드럽게(smoothing) 기법으로 근사한다. 구체적으로, 힌지 손실 L_hinge(w)=max(0,1−y_i wᵀx_i)를 매끄러운 함수 L̃_hinge(w)=max_{0≤α≤1}