전이 거리와 K평균 이중성 기반 클러스터링

초록

본 논문은 전이 거리(transitive distance)와 K‑평균 이중성(K‑means duality)이라는 두 핵심 개념을 이용해, 고차원 데이터의 복잡한 형태와 다중 스케일 클러스터를 효율적으로 구분하는 새로운 비고유값 기반 클러스터링 알고리즘을 제안한다. 기존 스펙트럴 클러스터링이 $O(n^3)$의 계산 복잡도를 갖는 반면, 제안 방법은 $O(n^2)$의 시간 복잡도로 동일 수준의 정확도를 달성한다. 알고리즘은 클러스터 수 외에 별도의 파라미터를 요구하지 않으며, 노이즈와 비구형 구조에 강인한 특성을 보인다. 실험 결과는 여러 공개 데이터셋에서 스펙트럴 클러스터링과 경쟁력 있는 성능을 확인한다.

상세 분석

논문은 먼저 전이 거리라는 개념을 정의한다. 전이 거리는 두 샘플 사이의 최단 경로 길이와 유사하게, 데이터 포인트들을 완전 그래프에 매핑하고 각 엣지에 원본 거리(예: 유클리드 거리)를 가중치로 부여한 뒤, 두 점을 연결하는 모든 가능한 경로 중 최소 최대 가중치를 선택한다. 이 방식은 전통적인 거리 측정이 포착하지 못하는 비선형 구조와 다중 스케일 특성을 자연스럽게 반영한다. 전이 거리 행렬을 구하면, 기존 K‑means 알고리즘에 바로 적용할 수 있는 새로운 특징 공간이 형성된다. 여기서 핵심이 되는 것이 K‑평균 이중성이다. 저자들은 전이 거리 기반 특징 공간에서 K‑means 클러스터링을 수행하면, 원래 데이터 공간에서의 복잡한 클러스터 형태가 거의 구형 구조로 변환된다는 경험적 관찰을 제시한다. 즉, 전이 거리 변환이 데이터의 비선형 구조를 선형화하고, K‑means가 효율적으로 작동할 수 있는 환경을 만든다. 알고리즘 흐름은 (1) 완전 그래프 구축, (2) 전이 거리 행렬 계산을 위한 Floyd‑Warshall와 유사한 $O(n^2)$ 알고리즘 적용, (3) 전이 거리 행렬을 이용해 각 샘플을 새로운 좌표 벡터로 매핑, (4) 표준 K‑means 실행, (5) 최종 클러스터 레이블 반환이다. 시간 복잡도 분석에서는 전이 거리 행렬 계산이 $O(n^2)$이며, K‑means 단계는 일반적인 $O(nkI)$ (k는 클러스터 수, I는 반복 횟수) 수준이므로 전체 복잡도는 $O(n^2)$에 머문다. 실험에서는 인공적인 두 개의 원형 클러스터, 복합적인 두 개의 나선형 클러스터, 그리고 이미지 기반의 다중 스케일 클러스터를 포함한 6개의 데이터셋을 사용하였다. 제안 방법은 파라미터 튜닝 없이도 스펙트럴 클러스터링과 비슷하거나 더 높은 정밀도와 재현율을 달성했으며, 특히 노이즈가 섞인 경우에도 안정적인 결과를 보였다. 한계점으로는 전이 거리 행렬을 메모리에 저장해야 하므로 매우 큰 데이터셋(수십만 이상)에서는 메모리 부담이 발생할 수 있다는 점을 언급한다. 또한, 전이 거리 계산이 그래프 구조에 크게 의존하므로, 거리 척도의 선택이 결과에 영향을 미칠 가능성이 있다. 전반적으로 전이 거리와 K‑평균 이중성의 결합은 스펙트럴 클러스터링의 정확성을 유지하면서 계산 효율성을 크게 향상시키는 실용적인 대안으로 평가된다.