k‑means 클러스터링을 위한 무작위 차원 축소와 최초의 정확한 특징 선택 기법

초록

본 논문은 k‑means 클러스터링에 대해 최초로 이론적 보장을 갖는 특징 선택 알고리즘을 제시하고, 무작위 투영 및 근사 SVD 기반의 두 가지 특징 추출 방법을 개선한다. 제안된 알고리즘들은 모두 랜덤화되어 있으며, 최적 k‑means 목표값에 대해 상수 배근사(3 + ε, 2 + ε 등)를 보장한다. 또한 차원 수와 실행 시간 면에서 기존 방법보다 우수함을 증명한다.

상세 분석

이 논문은 고차원 데이터에서 k‑means 클러스터링을 효율적으로 수행하기 위한 차원 축소 기법을 세 가지 관점에서 체계적으로 연구한다. 첫 번째는 특징 선택(feature selection)이다. 기존에는 k‑means에 대해 정확한 이론적 보장을 제공하는 특징 선택 방법이 없었으나, 저자들은 무작위 샘플링과 근사 SVD를 결합한 알고리즘(정리 11)을 제안한다. 이 알고리즘은 데이터 행렬 A의 상위 k개의 오른쪽 특이벡터를 근사하는 행렬 Z를 먼저 계산한 뒤, Z의 열 노름을 기반으로 열을 복원추출한다. 선택된 열의 개수 r = O(k log k / ε²)이며, 전체 시간 복잡도는 O(mnk ε⁻¹ + k log k ε⁻² log(k log k ε⁻¹))이다. 이 방법은 최적 클러스터링 비용의 3 + ε 배 이내의 근사값을 보장한다.

두 번째는 무작위 투영(random projection) 기반 특징 추출이다. 기존 연구