대표 벡터 머신을 통한 집합 커버 기반 분류

초록

프로토타입 벡터 머신(PVM)은 집합 커버 문제를 변형한 조합 최적화 모델로, 소수의 대표 샘플을 선택해 1‑NN을 일반화한다. 비유클리드 거리와 커널 기반 거리 모두에 적용 가능하며, ZIP 코드 데이터와 단백질 분류 실험에서 높은 정확도와 모델 해석성을 동시에 달성한다.

상세 분석

프로토타입 벡터 머신(PVM)은 기존 1‑NN 분류기의 한계를 극복하기 위해 집합 커버(set cover) 문제를 기반으로 설계된 새로운 근접 프로토타입 분류기이다. 핵심 아이디어는 전체 데이터 집합을 몇 개의 대표 프로토타입으로 덮는 최소 집합을 찾는 것이며, 이를 통해 학습 단계에서 데이터 압축과 동시에 분류 정확도를 유지한다. 논문에서는 이 문제를 이진 변수와 제약식으로 수식화하고, 전통적인 집합 커버의 NP‑hard 특성을 그대로 물려받아 정확한 해를 구하기는 현실적으로 불가능함을 인정한다. 대신 두 가지 근사 알고리즘을 제안한다. 첫 번째는 그리디 방식으로, 각 단계에서 가장 많은 아직 커버되지 않은 샘플을 포함하는 후보 프로토타입을 선택한다. 두 번째는 라그랑주 이완(Lagrangian relaxation) 기반의 이중적 접근법으로, 비용 함수에 페널티를 부여해 연속적인 최적화 문제로 변환한 뒤, 라운딩 과정을 통해 이산 해를 얻는다. 두 알고리즘 모두 시간 복잡도는 O(n²) 수준이며, 실제 데이터셋에 적용했을 때 충분히 빠른 수렴을 보인다.

PVM의 가장 큰 장점은 거리 함수에 대한 제약이 없다는 점이다. 유클리드 거리뿐 아니라 탱젠트 거리, DTW, 커널 기반 거리 등 비유클리드 메트릭을 그대로 사용할 수 있다. 이는 특히 고차원 이미지나 서열 데이터처럼 명시적인 피처 공간이 존재하지 않거나, 도메인 특화 메트릭이 성능을 좌우하는 경우에 큰 이점을 제공한다. 논문에서는 ZIP 코드 이미지 분류 실험에서 탱젠트 거리를 사용했으며, 기존 1‑NN이 2.5% 정도의 오류율을 보인 반면, PVM은 1.8% 이하의 오류율을 달성하면서 전체 데이터의 45% 미만만을 프로토타입으로 유지했다. 이는 모델의 압축률과 정확도 사이에서 뛰어난 균형을 이루었다는 것을 의미한다.

또 다른 실험으로는 단백질 서열 분류에 커널 기반 거리(예: 스펙트럼 커널)를 적용하였다. 여기서도 PVM은 기존 SVM 대비 비슷하거나 약간 높은 정확도를 유지하면서, 학습 및 예측 단계에서 필요한 메모리 양을 크게 감소시켰다. 이는 프로토타입 수가 전체 샘플 수에 비해 현저히 적기 때문에 가능한 결과이다.

이론적 측면에서는 PVM이 1‑NN을 특수한 경우(s=1, 즉 각 샘플이 자기 자신만을 커버)로 포함한다는 점을 증명한다. 따라서 PVM은 1‑NN의 장점을 보존하면서, 불필요한 중복 샘플을 제거하고, 모델 해석성을 높이는 구조적 이점을 제공한다. 또한, 선택된 프로토타입 자체가 데이터의 대표성을 반영하므로, 도메인 전문가가 결과를 시각화하거나 설명하는 데 유용하다.

전체적으로 PVM은 조합 최적화와 거리 기반 학습을 융합한 혁신적인 프레임워크이며, 특히 데이터 압축, 비유클리드 거리 활용, 그리고 모델 해석 가능성이 중요한 응용 분야에서 큰 잠재력을 가진다.