클러스터링 완전 복원 라운드 없이 가능

초록

이 논문은 유클리드 공간에 존재하는 k개의 구형 클러스터에 대해, k‑median과 k‑means의 convex relaxation이 언제 정확히 원래 군집을 복원하는지를 분석한다. k‑median LP는 중심 간 거리 Δ>2+ε이면 거의 모든 경우에 정수 해를 반환하고, k‑means LP는 Δ≥4에서는 실패한다. 반면 PSD 제약을 추가한 k‑means SDP는 Δ>2√2(1+√(1/m))에서 정확히 복원한다. 또한 일반적인 휴리스틱(Lloyd, k‑means++)은 큰 간격에서도 실패할 수 있음을 실험적으로 보여준다.

상세 분석

본 연구는 두 가지 대표적인 군집화 목적함수인 k‑median과 k‑means에 대해, 각각의 선형·반정밀(semidefinite) 완화가 “정밀 복원”(integrality) 현상을 보이는 조건을 정량적으로 규명한다. 데이터 생성 모델은 반지름 1인 구 안에서 균일하게 샘플링된 n/k개의 점을 k개의 구에 배치하고, 구 중심 간 최소 거리 Δ를 조절한다. 이때 k‑median LP는 기존 연구보다 더 강력한 결과를 제공한다. 저자들은 Δ>2+ε(ε>0 임의)이면 충분히 큰 n에 대해 고확률로 LP 해가 0‑1 값을 갖고, 원래의 군집을 정확히 식별함을 증명한다. 핵심은 “중심-점 간 거리”와 “점-점 간 거리”의 확률적 집중성을 이용해, 이중 변수 z와 y에 대한 듀얼 인증서를 구성하는 것이다. 반면 k‑means LP는 동일 모델에서 Δ<4이면 최적 해가 분수 값을 포함하게 되며, 이는 보완적인 슬랙 조건을 통해 증명된다. 즉, k‑means LP는 구간(2,4)에서는 완전 복원이 불가능함을 보여준다. 이를 극복하기 위해 PSD 제약을 추가한 k‑means SDP를 고려한다. 저자들은 “평균 분리”(average separation)라는 새로운 기하학적 조건을 정의하고, 이 조건이 Δ>2√2(1+√(1/m))에서 고확률로 만족함을 보인다. 따라서 SDP는 LP보다 훨씬 낮은 분리 거리에서도 정수 해를 보장한다. 흥미롭게도, 저자들은 이 경계가 아직 최적이 아니며, 실제 실험과 직관에 따르면 Δ>2+ε에서도 SDP가 정밀 복원을 달성할 것이라는 conjecture를 제시한다. 마지막으로, 널리 쓰이는 휴리스틱인 Lloyd 알고리즘과 k‑means++(과잉 초기화 포함)는 구간(Δ≫4)에서도 고확률로 군집을 오분류한다는 부정적 결과를 제시한다. 이는 convex relaxation이 제공하는 최적성 인증서가 실용적인 군집화 알고리즘에 비해 얼마나 강력한지를 강조한다. 전체적으로, 본 논문은 확률적 기하학, 듀얼 분석, 그리고 행렬 집중 불평등을 결합해 군집화 문제에서 convex relaxation의 정확한 복원 한계를 정밀히 규정한다.