스플라인 임베딩으로 구현한 초고속 선형화 가법 분류기

초록

본 논문은 P‑Spline 기반의 스플라인 임베딩을 이용해 가법 분류기를 선형 모델 형태로 변환한다. 차분 행렬을 역변환함으로써 특징을 직접 선형화하고, B‑스플라인·Fourier·Hermite 등 두 종류의 직교 기반을 제안한다. 히스토그램 교차 커널과의 근사 관계를 보이며, 메모리 오버헤드 없이 온라인으로 임베딩을 계산한다. MNIST와 Daimler‑Chrysler 보행자 데이터에서 커널 SVM과 동등한 정확도를 유지하면서 학습 속도가 100배 이상 빨라졌다.

상세 분석

이 논문은 가법 모델 학습을 위한 효율적인 스플라인 기반 임베딩을 제시한다. 기존 P‑Spline(P‑Spline) 방법은 다차원 함수의 각 차원을 다수의 균등 간격 B‑스플라인으로 표현하고, 인접 계수 차이를 정규화 항으로 사용해 부드러움을 제어한다. 저자들은 차분 행렬 (D_d) 을 가역적으로 설계하고, 가중치 (w) 를 (w = D_d^{-1}\tilde w) 로 재파라미터화함으로써 전체 학습 목표를 (\lambda| \tilde w|^2 + \sum_k \max(0,1 - y_k \tilde w^\top \phi_d(x_k))) 형태의 선형 SVM 문제로 변환한다. 여기서 (\phi_d(x) = D_d^{\prime -1}\phi(x)) 는 스플라인 기반 임베딩이며, 차분 차수 (d) 에 따라 선형, 2차, 3차 B‑스플라인 등 다양한 형태를 제공한다.

두 번째 임베딩 계열은 직교 기반을 활용한다. 구간 (