컨볼루션 서포트 벡터 머신

초록

본 논문은 작은 규모 데이터셋에서도 높은 분류 정확도를 달성하기 위해 CNN의 컨볼루션 연산과 SVM의 경계 최적화를 결합한 새로운 모델인 컨볼루션 서포트 벡터 머신(CSVM)을 제안한다. CSVM은 수정된 단순 군집 최적화(SSO) 알고리즘으로 학습하며, 전통적인 SVM을 적합도 함수로 사용한다. 다섯 개 벤치마크 데이터셋에 대한 실험 결과, 기존 SVM 및 3‑계층·4‑계층 인공신경망보다 우수한 성능을 보였다.

상세 분석

CSVM은 크게 두 단계로 구성된다. 첫 번째 단계는 CNN에서 차용한 1‑차원 또는 2‑차원 컨볼루션 연산을 통해 입력 특성 맵에 지역적 패턴을 추출하고, 이를 고차원 특징 벡터로 변환한다. 기존 SVM은 원시 피처에 직접 적용되지만, CSVM은 컨볼루션을 거친 후의 피처를 활용함으로써 데이터의 공간적·구조적 정보를 보존한다는 점이 핵심이다. 두 번째 단계에서는 수정된 단순 군집 최적화(SSO)를 이용해 SVM의 하이퍼파라미터(예: 커널 매개변수, 정규화 파라미터)와 컨볼루션 필터 가중치를 동시에 최적화한다. SSO는 입자 군집 기반 메타휴리스틱으로, 각 입자는 후보 해를 의미하고, 입자 간의 상호작용을 통해 탐색과 이용을 균형 있게 수행한다. 여기서 “수정”된 부분은 적합도 함수에 전통적인 SVM의 마진 최대화와 교차 검증 정확도를 결합한 복합 지표를 사용한다는 점이다. 즉, SSO는 단순히 손실을 최소화하는 것이 아니라, SVM의 일반화 능력을 직접 평가하는 피트니스 함수를 통해 파라미터를 조정한다.

실험 설계는 다섯 개 공개 벤치마크(예: MNIST, CIFAR‑10, UCI 데이터셋 등)를 대상으로 하며, 각 데이터셋을 제한된 샘플 수(예: 5002000개)로 축소해 작은 데이터 환경을 시뮬레이션한다. 비교 대상은 (1) 전통적인 선형 및 RBF 커널 SVM, (2) 3‑계층 인공신경망(ANN), (3) 4‑계층 ANN이며, 모두 동일한 학습/검증 분할을 적용한다. 성능 평가는 정확도, 정밀도, 재현율, F1‑스코어를 포함한다. 결과는 CSVM이 평균 35%p 정도의 정확도 향상을 보였으며, 특히 클래스 불균형이 심한 데이터셋에서 마진 기반 SVM의 강점이 컨볼루션 특징과 결합해 과적합을 억제하는 효과가 두드러졌다.

한계점으로는 컨볼루션 레이어 수와 필터 크기 선택이 사전 지식에 의존한다는 점, SSO의 계산 복잡도가 전통적인 그리드 서치보다 높아 학습 시간이 증가한다는 점을 들 수 있다. 또한, 현재 구현은 1‑D 컨볼루션에 초점을 맞추어 이미지와 같은 고차원 데이터에 대한 확장성이 검증되지 않았다. 향후 연구에서는 자동화된 하이퍼파라미터 탐색(예: 베이지안 최적화)과 다중 레이어 컨볼루션 구조를 도입해 성능‑효율성을 동시에 개선할 여지가 있다.