밀도 기반 클러스터링 안정성 연구

초록

본 논문은 커널 밀도 추정기를 이용해 데이터의 레벨 집합 (L(\lambda)={x:p(x)>\lambda}) 과 그에 대응하는 클러스터 트리 (\mathcal{T}) 를 추정하고, 밴드위스 (h) 에 따른 추정 불안정성을 두 가지 지표로 정의한다. 이 불안정성 측정값의 이론적 수렴 속도와 최적 밴드위스 선택 기준을 분석함으로써, 밀도 기반 군집화의 신뢰성을 정량화한다.

상세 분석

논문은 먼저 확률밀도 (p) 의 레벨 집합 (L(\lambda)) 을 연결 성분으로 정의하고, 이를 (\lambda) 값을 변화시켜 얻는 전체 계층 구조를 클러스터 트리 (\mathcal{T}=\bigcup_{\lambda}L(\lambda)) 로 표현한다. 실험 데이터에서는 (p)를 직접 알 수 없으므로, 커널 밀도 추정기 (\widehat p_h(x)=\frac{1}{nh^d}\sum_{i=1}^n K!\left(\frac{x-X_i}{h}\right)) 를 사용해 (\widehat L_h(\lambda)={x:\widehat p_h(x)>\lambda}) 와 (\widehat{\mathcal{T}}_h) 를 구성한다. 여기서 핵심 변수는 스무딩 파라미터 (h) 이며, (h)가 작을수록 추정은 변동성이 커지고, 크게 하면 편향이 증가한다는 전통적인 편‑분 트레이드오프가 존재한다.

불안정성 측정은 두 가지 형태로 정의된다. 첫 번째는 레벨 집합 불안정성 (\Xi_n(h)=\mathbb{P}\bigl(\widehat L_h(\lambda)\neq L(\lambda)\bigr)) 로, 동일한 데이터셋을 두 번 독립적으로 샘플링했을 때 두 추정 레벨 집합이 서로 다를 확률을 의미한다. 두 번째는 클러스터 트리 불안정성 (\Upsilon_n(h)=\mathbb{P}\bigl(\widehat{\mathcal{T}}_h\neq\mathcal{T}\bigr)) 로, 전체 트리 구조가 일치하지 않을 확률을 측정한다. 두 지표 모두 (h)에 대한 함수이며, (h)가 너무 작으면 표본 변동에 민감해 급격히 상승하고, 너무 크면 편향으로 인해 실제 구조를 놓치면서 다시 상승한다. 따라서 중간 구간에서 최소값을 보이는 것이 이상적인 밴드위스 선택 기준이 된다.

이론적 분석에서는 커널가 Lipschitz 연속이고, (p)가 (\beta)‑Hölder 연속((\beta\in(0,2]))이라고 가정한다. 그런 다음, 표본 크기 (n)에 대해 다음과 같은 수렴 결과를 증명한다.

1. 레벨 집합 불안정성: (\Xi_n(h)=O!\bigl((nh^d)^{-1/2}+h^\beta\bigr)). 첫 항은 변동성(표본 분산)이고, 두 번째 항은 편향(스무딩)이다. 최적 밴드위스는 (h\asymp n^{-1/(2\beta+d)}) 로, 이때 (\Xi_n(h)=O!\bigl(n^{-\beta/(2\beta+d)}\bigr)) 가 된다.
2. 클러스터 트리 불안정성: (\Upsilon_n(h)=O!\bigl((nh^{d+2})^{-1/2}+h^\beta\bigr)). 트리 구조는 레벨 집합보다 더 높은 차원의 기하학적 정보를 포함하므로, 변동성 항에 추가적인 (h^2) 요인이 들어간다. 최적 밴드위스는 동일하게 (h\asymp n^{-1/(2\beta+d)}) 이지만, 상수항이 다르다.

또한, 불안정성 함수 (\Xi_n(h),\Upsilon_n(h)) 가 U‑shape 형태를 갖는 충분조건을 제시한다. 이는 (p)의 최소 밀도 차이 (\delta_\lambda=\inf_{x\in\partial L(\lambda)}|\nabla p(x)|) 가 양수이고, 경계가 매끄럽게( (C^2) ) 존재할 때 보장된다. 실험에서는 1‑차원 가우시안 혼합, 2‑차원 토러스형 밀도, 고차원 스파스 클러스터 등을 대상으로 시뮬레이션을 수행했으며, 불안정성 곡선이 이론적 예측과 일치함을 확인한다. 특히, 최소값이 나타나는 (h) 를 선택하면 실제 클러스터링 정확도(F-measure)가 최고점에 도달한다는 실증적 증거를 제공한다.

마지막으로, 논문은 데이터‑드리븐 밴드위스 선택 알고리즘을 제안한다. 이는 격자 탐색(grid search)으로 (\Xi_n(h)) 혹은 (\Upsilon_n(h)) 를 추정하고, 최소값을 찾는 방식이다. 이 방법은 교차 검증이나 로그가능도 기반 선택법보다 계산량이 적고, 클러스터링 목적에 직접 맞춰진다는 장점이 있다.

요약하면, 본 연구는 밀도 기반 군집화에서 “안정성”이라는 새로운 평가 축을 도입하고, 이를 정량화하는 두 가지 불안정성 지표의 이론적 특성을 완전히 규명함으로써, 실무에서 밴드위스 선택을 보다 principled하게 수행할 수 있는 기반을 마련한다.