최대 거리 초평면 문제와 최대 마진 클러스터링

초록

본 논문은 라벨이 없는 데이터에 대해 원점을 통과하는 초평면의 최소 거리(마진)를 최대화하는 “가장 먼 초평면 문제(FHP)”를 정의하고, 이 문제의 계산 복잡도와 근사 가능성을 체계적으로 분석한다. 저자들은 FHP가 NP‑hard임을 보이고, 최적 마진 θ에 대해 n^{O(1/θ²)} 시간의 무작위 정확 알고리즘을 제시한다. 또한, 전체 점의 1‑5α 비율을 제외하고는 최적 마진의 α 배를 보장하는 효율적인 근사 알고리즘을 설계한다. 마지막으로, 특정 PCP 기반의 GAP‑보존 감소를 통해 PTAS가 존재하지 않음을 증명한다.

상세 분석

FHP는 n개의 d차원 점 집합 X={x^{(i)}}_{i=1}^{n}에 대해 ‖w‖₂=1인 단위벡터 w를 찾아 ‖⟨w,x^{(i)}⟩‖≥θ 를 모든 i에 대해 만족시키는 최대 마진 θ 를 구하는 문제이다. 여기서 초평면은 원점을 지나야 하므로 b=0 으로 고정된다. 이 정의는 라벨이 없는 상태에서 SVM의 목표를 그대로 옮긴 것으로, 라벨 y_i는 w에 대한 부호 sign(⟨w,x^{(i)}⟩) 로 자동 결정된다.

첫 번째 주요 결과는 FHP가 NP‑hard임을 보이는 복잡도 이론이다. 저자들은 MAX‑3SAT(특히 SAT의 난이도 가정인 ETH)으로부터 GAP‑보존 감소를 구성하여, 최적 마진이 θ 인 경우 알고리즘이 n^{Ω(1/θ²)} 이상의 시간 없이 정확히 해결할 수 없음을 증명한다. 이는 이후 제시된 무작위 정확 알고리즘의 시간 복잡도와 일치하여, θ 에 대한 지수 의존성이 최선임을 보여준다.

세 가지 정확 알고리즘을 제시한다. (1) 모든 가능한 라벨링을 열거하는 브루트포스는 VC 차원 d+1 에 의해 가능한 라벨링 수가 O(n^{d}) 로 제한됨을 이용해 O(n^{d}) 시간에 해결한다. (2) ε‑net 기반 알고리즘은 구면 S^{d‑1} 위에 ε<θ 인 그리드를 구성하고, 그리드 점마다 마진을 평가한다. 그리드 크기가 (1/θ)^{O(d)} 이므로 차원에 대해 지수적이지만 마진이 큰 경우 효율적이다. (3) 무작위 초평면 알고리즘은 O(1/θ²) 개의 단위벡터를 무작위로 샘플링하고, 각 벡터가 유도하는 라벨링 중 마진이 가장 큰 것을 선택한다. 핵심은 “약한 상관관계”만으로도 최적 라벨링을 충분히 높은 확률(1‑O(1/n^{c}))로 재현할 수 있다는 레마 3.1이다. 이 레마는 구면 캡의 부피가 θ^{d} 로 작음에도 불구하고, 마진 조건을 만족하는 점들의 부호 패턴이 전체 라벨링을 결정한다는 사실을 이용한다.

근사 알고리즘은 전체 점의 작은 비율을 버릴 수 있을 때 더 강력한 결과를 제공한다. α∈