노이즈 클러스터 식별을 위한 최적 k‑최근접 이웃 그래프 설계

초록

본 논문은 확률분포의 t‑레벨 집합을 클러스터로 정의하고, 무작위 표본에 대해 이웃 그래프를 구축하여 클러스터를 식별하는 방법을 연구한다. 상호(k‑mutual)와 대칭(k‑symmetric) k‑최근접 이웃 그래프 중 어느 것이 더 적합한지, 그리고 최적의 k값은 어떻게 선택해야 하는지를 분석한다. 무노이즈와 노이즈가 존재하는 두 상황에서 랜덤 기하학 그래프 이론을 활용해 클러스터 식별 성공 확률에 대한 상한·하한을 도출한다. 주요 결과는 최적 k가 로그 n이 아니라 n 차원에 비례해야 하며, 가장 큰 클러스터만을 탐지할 때 상호와 대칭 그래프 사이에 현저한 차이가 나타난다는 것이다.

상세 분석

이 연구는 데이터 샘플이 주어졌을 때, 클러스터를 “t‑레벨 집합”이라는 연속 확률밀도 상의 등고선 영역으로 정의하고, 이러한 영역을 그래프 이론적 연결성으로 변환한다는 독특한 접근법을 채택한다. 구체적으로, 각 데이터 포인트에 대해 k개의 가장 가까운 이웃을 찾고, 두 가지 연결 규칙을 적용한다. 첫 번째는 상호(k‑mutual) 그래프로, 두 점 i와 j가 서로의 k‑최근접 이웃에 동시에 포함될 때만 엣지를 만든다. 두 번째는 대칭(k‑symmetric) 그래프로, i가 j의 k‑최근접 이웃이거나 그 반대인 경우에 엣지를 만든다. 이 두 그래프는 연결성 구조가 다르며, 특히 희소한 영역에서 엣지 생성 확률이 크게 차이난다.

논문은 먼저 무노이즈 상황을 가정하고, 클러스터 경계가 충분히 매끄럽고 최소 거리 δ가 존재한다고 설정한다. 이때, 클러스터 내부에서는 점들의 밀도가 충분히 높아 k가 클수록 내부 연결성이 강화된다. 반대로 클러스터 간 경계에서는 점들의 거리 분포가 넓어 k가 너무 작으면 엣지가 생기지 않지만, k가 지나치게 크면 경계 너머까지 연결이 발생해 클러스터가 합쳐진다. 이를 정량화하기 위해 저자들은 볼록성과 밀도 하한을 이용해 그래프가 각 클러스터를 정확히 연결 컴포넌트로 유지할 최소 k와, 반대로 클러스터 간 연결을 방지할 최대 k를 도출한다. 흥미롭게도, 이러한 경계 조건을 만족하려면 k가 Θ(n) 수준이어야 함을 보인다. 즉, 로그 n 수준의 희소한 이웃 선택은 확률적 연결성을 보장하기에 충분하지 않다.

노이즈가 존재하는 경우, 즉 데이터에 외부 점이 섞여 있을 때는 추가적인 t‑레벨 집합 외부 영역이 형성된다. 여기서는 노이즈 제거 전처리와 노이즈 포인트에 대한 연결 억제가 핵심이다. 저자들은 노이즈 점이 클러스터 내부에 침투하는 확률을 제어하기 위해, k가 충분히 커서 노이즈 점이 주변 고밀도 영역과 연결될 확률이 낮아지도록 설계한다. 동시에, 노이즈 점 자체가 서로 연결되어 별도의 작은 컴포넌트를 형성하지 않도록 k가 지나치게 크지 않게 제한한다. 이 두 조건을 동시에 만족시키는 k는 역시 Θ(n) 범위에 머무른다.

또한, 가장 큰(가장 중요한) 클러스터만을 식별하고자 할 때, 상호 그래프와 대칭 그래프 사이에 뚜렷한 차이가 나타난다. 상호 그래프는 엣지 생성 조건이 엄격하기 때문에, 큰 클러스터 내부에서는 충분히 많은 엣지가 형성되지만, 작은 클러스터나 경계에서는 연결이 끊어지는 경향이 있다. 반면 대칭 그래프는 보다 관대하게 엣지를 만들기 때문에, 작은 클러스터도 연결될 가능성이 높다. 따라서, 가장 큰 클러스터만을 정확히 포착하려면 상호 그래프가 더 유리하다는 결론에 도달한다.

마지막으로, 저자들은 랜덤 기하학 그래프 이론의 주요 정리—예를 들어, 연결성 임계값, 볼록성 보존, 그리고 포아송 점 과정에 대한 확률적 경계—를 활용해 위의 직관적 결과를 엄밀히 증명한다. 이론적 증명은 고차원 공간에서도 동일하게 적용 가능하도록 일반화되었으며, 실험적 시뮬레이션을 통해 이론적 예측이 실제 데이터에 부합함을 확인한다.

요약하면, 클러스터 식별을 위한 k‑최근접 이웃 그래프 설계에서 최적 k는 데이터 샘플 크기 n에 비례해야 하며, 상호 그래프가 가장 큰 클러스터 탐지에 특히 유리하다는 것이 본 논문의 핵심 통찰이다.