상호 최근접 이웃 기반 계층 군집화

초록

본 논문은 두 데이터 포인트가 서로의 가장 가까운 이웃일 경우 동일 클러스터에 속한다는 가설을 바탕으로, 효율적이고 정확한 계층 군집화 알고리즘을 제안한다. RNN(Reciprocal Nearest Neighbor) 관계를 이용해 병합 과정을 단순화하고, 시간 복잡도를 크게 낮추면서도 기존 방법보다 높은 군집 품질을 달성한다. 또한 실제 네트워크의 커뮤니티 탐지 문제에 적용하여 Girvan‑Newman 알고리즘보다 뛰어난 성능을 보인다.

상세 분석

논문은 기존 계층 군집화가 겪는 두 가지 주요 문제, 즉 연산량이 급격히 증가하는 O(n³) 수준의 시간 복잡도와 병합 기준 선택 시 발생하는 불안정성을 지적한다. 이를 해결하기 위해 저자들은 “상호 최근접 이웃(Reciprocal Nearest Neighbor, RNN)”이라는 개념을 도입한다. RNN은 두 점 a와 b가 서로의 가장 가까운 이웃일 때 성립하며, 이러한 관계는 군집 구조의 핵심 골격을 형성한다는 가설을 제시한다. 알고리즘은 초기 단계에서 모든 데이터 포인트에 대해 최근접 이웃을 찾고, RNN 쌍을 식별한다. 이후 RNN 쌍을 동시에 병합함으로써 병합 단계에서 발생할 수 있는 순서 의존성을 최소화한다. 병합 후에는 영향을 받은 점들의 최근접 이웃만 재계산하므로 전체 재계산 비용이 크게 감소한다. 이 과정은 최악의 경우에도 O(n²) 이하의 시간 복잡도를 보장한다.

정확도 측면에서는 실험에 사용된 다중 도메인 데이터셋(이미지, 텍스트, 유전 정보 등)에서 기존 대표적인 계층 군집화 기법인 평균 연결법, 완전 연결법, Ward 방법과 비교했을 때, 실루엣 점수와 정밀도‑재현율 지표 모두 유의미하게 높은 값을 기록한다. 특히 고차원 데이터에서 차원 저주 현상을 완화하는 효과가 두드러졌다.

네트워크 커뮤니티 탐지 확장에서는 RNN 기반 병합을 그래프의 노드 간 거리(예: 짧은 경로 길이, 구조적 유사도)로 정의하고, 이를 통해 단계별로 커뮤니티를 형성한다. 결과는 모듈러리티 점수와 NMI(Normalized Mutual Information)에서 Girvan‑Newman 알고리즘을 크게 앞선다. 또한 알고리즘이 병합 순서를 전역적으로 결정하지 않기 때문에, 초기 노이즈나 이상치에 대한 민감도가 낮아 실용적인 네트워크 분석에 적합하다.

전체적으로 이 논문은 RNN이라는 간단하지만 강력한 가설을 통해 계층 군집화의 효율성과 정확성을 동시에 개선했으며, 기존 방법들의 한계를 뛰어넘는 실험적 증거를 제공한다.