딥 인코더 기반 대형 마진 kNN 분류

초록

본 논문은 제한된 볼츠만 머신(RBM)으로 사전 학습된 깊은 인코더 네트워크를 이용해 비선형 특징 변환을 수행하고, 이를 대형 마진 kNN(Classification with Large Margin kNN) 프레임워크에 결합한 DNet‑kNN 모델을 제안한다. 손글씨 숫자 데이터셋(MNIST, USPS)에서 선형 변환 기반 대형 마진 kNN과 RBM‑기반 딥 오토인코더 kNN보다 뛰어난 분류 정확도와 차원 축소 성능을 입증한다.

상세 분석

DNet‑kNN은 기존 kNN이 거리 측정에 크게 의존하고, 고차원에서 클래스와 무관한 특성에 취약하다는 문제점을 비선형 특징 매핑을 통해 해결한다. 핵심 아이디어는 깊은 인코더 네트워크를 사전 학습(pre‑training) 단계에서 RBM을 층별로 스택하여 초기 파라미터를 확보하고, 이후 전체 네트워크를 지도학습(supervised fine‑tuning)으로 최적화한다는 점이다. 이때 손실 함수는 “대형 마진” 개념을 도입해, 같은 클래스의 샘플은 서로 가깝게, 다른 클래스의 샘플은 일정 마진 이상 떨어지도록 강제한다. 구체적으로, 각 훈련 샘플 x_i에 대해 k개의 최근접 이웃 중 동일 클래스 이웃과 이질 클래스 이웃을 각각 선택하고, 동일 클래스 거리와 이질 클래스 거리 사이에 마진 m을 두는 힌지 손실을 적용한다.

비선형 매핑을 위한 인코더는 다층 퍼셉트론 구조를 갖으며, 각 층은 RBM으로 사전 학습된 가중치를 초기값으로 사용한다. RBM 사전 학습은 무감독 방식으로 데이터의 잠재 구조를 포착해, 이후 지도 학습 단계에서 급격한 파라미터 변동을 방지하고 수렴 속도를 높인다. 또한, 인코더의 출력 차원을 원하는 차원(d)으로 설정함으로써 차원 축소와 동시에 판별력을 강화한다.

계산 복잡도 측면에서, 전통적인 커널 기반 비선형 kNN은 모든 훈련 샘플에 대해 커널 함수를 계산해야 하므로 O(N²) 비용이 발생한다. 반면 DNet‑kNN은 학습된 인코더를 한 번 통과시키면 저차원 임베딩을 얻을 수 있어, 테스트 단계에서 kNN 연산은 저차원 공간에서 O(N·k) 정도로 크게 감소한다. 따라서 대규모 데이터셋에도 확장 가능하다.

실험에서는 두 손글씨 데이터셋(MNIST 60 k 훈련, 10 k 테스트; USPS 7 k 훈련, 2 k 테스트)을 사용해, (1) 선형 변환 기반 대형 마진 kNN, (2) 딥 오토인코더(k‑AE) 기반 kNN, (3) 제안된 DNet‑kNN을 비교하였다. 결과는 DNet‑kNN이 1‑2% 정도의 정확도 향상을 보였으며, 특히 차원 축소 후 시각화(t‑SNE)에서 클래스 간 경계가 명확히 구분되는 것을 확인했다. 또한, 마진 파라미터와 인코더 깊이에 대한 민감도 분석을 통해 적절한 마진(m≈1.0)과 3~4층 구조가 최적임을 제시한다.

한계점으로는 RBM 사전 학습이 비교적 오래 걸리며, 하이퍼파라미터(마진, 층 수, 학습률 등)의 튜닝이 필요하다는 점이다. 또한, kNN 자체가 메모리 요구량이 크므로 매우 대규모 데이터(수백만 샘플)에서는 추가적인 근사 kNN 기법과 결합이 요구될 수 있다. 그럼에도 불구하고, 비선형 변환과 대형 마진을 동시에 고려한 DNet‑kNN은 기존 선형 방법보다 뛰어난 판별 성능과 차원 축소 효율성을 제공한다는 점에서 의미가 크다.