등거리 분리 지도: 차원 축소와 지도 학습을 동시에 구현하는 새로운 커널 방법

초록

본 논문은 최대 분산 전개(MVU)의 구조를 유지하면서 지도 정보를 활용해 데이터가 선형적으로 완전히 구분되도록 하는 이소메트릭 분리 지도(Isometric Separation Map, ISM)를 제안한다. ISM은 커널 행렬을 직접 학습해 초평면을 미리 지정하고, 훈련 데이터를 무한 차원으로 매핑하지 않아도 정확히 구분할 수 있다. 실험 결과는 기존 대형 마진 SVM과 비교해 비슷한 성능을 보이며, 반지도(transductive) 학습에서도 유효함을 확인한다.

상세 분석

Maximum Variance Unfolding(MVU)은 데이터가 매니폴드 구조를 가질 때, 인접한 점들 사이의 거리(등거리) 제약을 보존하면서 전체 분산을 최대화하는 비선형 차원 축소 기법이다. MVU는 반정규화된 반정수계획으로 표현되며, 커널 행렬 K를 변수로 두고 반대칭성, 반양의성, 트레이스 최소화 제약을 통해 최적화한다. 그러나 MVU는 순수히 비지도 방식이기 때문에 클래스 라벨을 활용한 분류 성능을 보장하지 못한다는 한계가 있다.

이 논문은 이러한 한계를 극복하기 위해 두 가지 핵심 아이디어를 도입한다. 첫째, 초평면을 사전에 정의하고(예: 라벨 +1인 샘플은 양의 반쪽, -1인 샘플은 음의 반쪽) 해당 초평면에 대해 모든 훈련 샘플이 정확히 구분되도록 하는 선형 구분 제약을 추가한다. 이는 기존 MVU의 목적함수에 선형 부등식(또는 등식) 형태로 삽입될 수 있으며, 전체 최적화 문제는 여전히 반정수계획이 아닌 반정규화된 반양의 반정수계획으로 유지된다. 둘째, 이러한 제약을 만족하도록 커널 행렬 K 자체를 학습한다는 점이다. 즉, K가 양의 반양성을 유지하면서 거리 보존 제약과 선형 구분 제약을 동시에 만족하도록 최적화한다. 결과적으로 K는 “학습된 커널” 역할을 하며, 해당 커널 공간에서는 사전에 지정한 초평면 하나만으로도 훈련 데이터를 완벽히 분리한다.

수학적으로는 다음과 같은 최적화 문제를 푼다.
\