대규모 비정정 유사도 기반 마진 분류의 효율적 구현

본 논문은 대규모 분류 작업에서 널리 사용되는 커널 서포트 벡터 머신(SVM)의 두 가지 근본적인 한계를 극복하고자 한다. 첫 번째는 커널이 반드시 양의 반정정(PSD)이어야 한다는 제약이며, 두 번째는 훈련 복잡도가 데이터 수에 대해 최소 O(n²) 수준으로 급격히 증가한다는 점이다. 특히 이미지 인식과 같이 변형·위치 불확실성을 모델링해야 하는 경우, 변형에 강인한 ‘인디피니트(jitter)’ 커널이나 잠재 변수 기반 유사도는 본질적으로 비정정이다. 이러한 비정정 유사도를 그대로 SVM에 적용하면 이차형식이 비볼록해 최적화가 어려워지고, 기존 해결책은 음의 고유값을 클리핑하거나 전체 그램 행렬에 대한 고가의 고유값 분해를 필요로 한다. 이를 해결하기 위해 저자들은 ‘베이스 확장(Basis Expanding) SVM’, 즉 BE‑SVM이라는 새로운 프레임워크를 제안한다. 전체 학습 데이터 중 B개의 샘플을 베이스 집합 B={b₁,…,b_B} 로 선택하고, 임의의 입력 x에 대해 s(b_k, x) 형태의 유사도 값을 B‑차원 벡터 ˜ϕ(x)=