스트리밍 학습 한 번에 보는 SVM

초록

본 논문은 ℓ₂‑SVM을 최소 외접구(MEB) 문제와 연결시켜, 데이터 스트림에 대해 단 한 번만 패스하는 알고리즘을 제안한다. 기존 Core Vector Machine(CVM)은 배치 방식으로 여러 번 데이터를 스캔하지만, 제안된 스트리밍 SVM은 각 샘플을 처리할 때 다항 로그 시간 연산과 상수 크기 메모리만 사용한다. 실험 결과는 제한된 패스와 메모리에도 불구하고 최신 배치·온라인 SVM 솔버와 비슷한 정확도를 보임을 확인한다.

상세 분석

ℓ₂‑SVM의 최적화는 라그랑주 이중형을 통해 원점에서 각 데이터 포인트를 고차원 특징 공간으로 매핑한 뒤, 이들 점을 포함하는 최소 외접구(MEB)를 구하는 문제와 동등함을 이용한다. 기존 CVM은 코어셋 이론을 적용해 전체 데이터 집합의 (1+ε) 근사 MEB를 배치 방식으로 계산하고, 그 중심을 SVM의 가중치 벡터 w로 변환한다. 그러나 CVM은 전체 데이터를 여러 번 읽어야 하며, 메모리 사용량이 O(N) 수준으로 확장된다.
본 논문은 스트리밍 환경에서 MEB를 업데이트하는 알고리즘을 차용한다. 스트리밍 MEB는 현재 외접구의 중심 c와 반지름 r을 유지하면서, 새 샘플 x가 기존 구에 포함되지 않을 경우 c와 r을 최소한의 조정으로 갱신한다. 이 과정은 새로운 점과 현재 중심 사이의 거리를 계산하고, 두 점을 연결하는 선분 위에서 새로운 중심을 찾는 간단한 선형 보간으로 구현된다. 논문은 이 업데이트를 SVM의 가중치 w와 편향 b에 직접 매핑함으로써, 온라인 확률적 경사 하강법과 유사한 형태의 학습 규칙을 도출한다.
알고리즘의 시간 복잡도는 각 샘플당 O(d·log 1/ε) (d는 차원)이며, 저장 요구량은 현재 중심과 반지름, 그리고 몇 개의 보조 변수만으로 상수 수준이다. 이론적으로는 스트리밍 MEB가 (1+ε) 근사 보장을 제공하므로, 최종 w는 원래 ℓ₂‑SVM의 최적해와 동일한 (1+ε) 근사 정확도를 갖는다. 다만, 스트리밍 환경에서는 데이터 순서에 민감할 수 있으며, 최악의 경우 초기 몇 개 샘플에 의해 중심이 크게 왜곡될 위험이 있다. 이를 완화하기 위해 논문은 무작위 샘플링과 초기화 전략을 제안하고, 실험을 통해 충분히 견고함을 입증한다.