랜덤 투영 후에도 마진은 유지될까

초록

본 논문은 랜덤 투영이 이진 및 다중 클래스 분류에서 마진을 얼마나 보존하는지 이론적으로 분석한다. 마진 보존을 위한 차원 축소 비율과 확률적 경계, 그리고 다중 클래스 상황에서의 새로운 마진 정의와 상한을 제시한다.

상세 분석

본 연구는 고차원 데이터에 대한 차원 축소 기법으로 널리 사용되는 랜덤 투영(Random Projection, RP)의 핵심 특성인 거리 보존성(Johnson‑Lindenstrauss Lemma)을 마진 보존 관점에서 재해석한다. 기존 연구는 주로 두 점 사이의 유클리드 거리 혹은 내적을 보존한다는 점에 초점을 맞췄으나, 분류기의 결정 경계와 직접 연결되는 마진(margin)은 거리와는 다른 구조적 특성을 가진다. 따라서 저자들은 먼저 이진 선형 분류기의 마진을 정의하고, RP가 적용된 후의 마진을 원본 마진과 비교하는 수학적 프레임워크를 구축한다.

핵심 정리는 다음과 같다.

1. 마진 보존 조건: 원본 데이터 집합 (X\subset\mathbb{R}^d)와 라벨 (y\in{-1,1})에 대해 선형 분리 초평면 (w^\top x + b = 0)가 존재하고, 마진 (\gamma = \min_i y_i (w^\top x_i + b)/|w|)라 할 때, 차원 (k)가
   \