의미있는 군집 숲: 자동·강건 클러스터링 알고리즘

초록

**
본 논문은 최소 신장 트리(MST) 기반의 엣지 길이 통계와 a‑contrario 검정 방식을 결합해, 단일 직관적 파라미터만으로 다양한 형태의 군집을 자동 탐지하는 방법을 제안한다. 반복 적용을 통해 잡음에 강인하고, 대형 군집에 가려지는 소형 군집도 효과적으로 복원한다.

**

상세 분석

**
이 연구는 클러스터링을 “근접성 전체 형태(gestalt)”를 수치적으로 추정하는 문제로 재정의한다. 핵심 아이디어는 데이터 포인트들을 그래프의 정점으로 보고, 유클리드 거리 혹은 사용자가 정의한 거리 함수에 따라 가중치를 부여한 최소 신장 트리(MST)를 구성하는 것이다. MST는 전체 데이터의 연결성을 최소 비용으로 유지하면서도, 각 엣지의 길이가 데이터 간 국소적 밀도 차이를 직접 반영한다는 장점을 가진다.

논문은 먼저 MST의 모든 엣지를 길이 순으로 정렬하고, 특정 길이 임계값 이하의 엣지 집합을 “연결된 컴포넌트”로 묶는다. 여기서 중요한 점은 각 컴포넌트가 실제 의미 있는 군집인지 판단하기 위해 a‑contrario 프레임워크를 도입한다는 것이다. a‑contrario는 “우연히 발생할 확률이 낮은 사건”을 의미하며, 군집 검출에서는 무작위 배경 모델(예: 균등 분포) 하에서 현재 엣지 길이 분포가 얼마나 이례적인지를 계산한다.

구체적으로, 논문은 다음과 같은 통계량을 정의한다.

1. 엣지 길이 누적 분포 함수(F) – 전체 MST에서 엣지 길이가 t 이하일 확률을 추정한다.
2. 군집 내 엣지 길이 평균(μ_c) – 후보 군집 c에 속한 엣지들의 평균 길이.
3. 유의성(NFA, Number of False Alarms) – 배경 모델 하에서 μ_c 이하의 평균을 갖는 군집이 우연히 발생할 기대 횟수.

NFA가 사전에 정한 임계값 ε(보통 1)보다 작으면 해당 군집을 “meaningful”하다고 선언한다. ε는 사용자가 지정하는 유일한 파라미터이며, “허용 가능한 오탐지 수”라는 직관적 의미를 갖는다. 따라서 사용자는 복잡한 파라미터 튜닝 없이도 탐지 민감도를 조절할 수 있다.

알고리즘의 자동성은 두 가지 측면에서 강조된다. 첫째, 거리 함수만 지정하면 나머지 과정은 전적으로 데이터에 의해 결정된다. 둘째, NFA 기반 검정은 데이터 규모와 차원에 독립적으로 동작한다는 점이다.

또한 논문은 반복 적용(iterative application) 전략을 제안한다. 초기 탐지 단계에서 가장 뚜렷한 군집이 추출되면, 해당 군집의 포인트를 데이터셋에서 제거하고 남은 포인트에 대해 다시 MST와 a‑contrario 검정을 수행한다. 이 과정을 군집이 더 이상 의미 있게 검출되지 않을 때까지 반복한다. 반복 과정은 두 가지 중요한 효과를 만든다.

1. 노이즈 강건성 – 잡음 포인트는 대부분 매우 긴 엣지를 형성하므로 NFA가 크게 나와 의미 없는 군집으로 판정된다. 반복 과정에서 잡음은 점차 제거되며, 실제 군집은 점점 더 명확히 드러난다.
2. 마스킹 현상 해소 – 대형 군집이 데이터 전체를 지배하면 작은 군집의 엣지 길이가 상대적으로 길어져 NFA가 높아진다. 그러나 대형 군집을 먼저 제거하고 남은 데이터에 대해 재분석하면, 작은 군집의 엣지 길이 분포가 재조정되어 새로운 의미 있는 군집으로 인식된다.

실험에서는 합성 데이터(다중 모양, 다양한 밀도, 잡음 비율)와 실제 이미지 세그멘테이션 과제에 적용해, DBSCAN, Mean‑Shift, Spectral Clustering 등 기존 방법과 비교하였다. 의미 있는 군집 검출률(Recall)과 허위 검출률(Precision) 모두에서 우수한 성능을 보였으며, 특히 복잡한 형태와 겹치는 군집을 구분하는 데 강점을 나타냈다.

이 논문의 한계는 두 가지로 요약할 수 있다. 첫째, MST 구축 비용이 O(N log N)이며, 매우 대규모 데이터(수백만 포인트)에서는 메모리와 시간 제약이 있다. 둘째, 배경 모델을 균등 무작위로 가정하기 때문에, 데이터가 강한 비균등 분포를 가질 경우 NFA 계산이 과보수적일 수 있다. 향후 연구에서는 근사 MST(예: k‑NN 그래프 기반)와 보다 정교한 백그라운드 모델(예: 커널 밀도 추정)을 결합해 확장성을 높이는 방안을 제시한다.

**