현대 계층적 병합 클러스터링 알고리즘

초록

본 논문은 거리 행렬을 입력으로 하는 계층적 병합 클러스터링을 표준 소프트웨어가 요구하는 “스텝와이즈 덴드로그램” 형태로 출력하는 알고리즘들을 분석한다. 기존 알고리즘의 한계를 극복하는 새로운 범용 알고리즘을 제안하고, Rohlf와 Murtagh가 제시한 두 알고리즘의 정확성을 증명한다. 또한 각 연결 방식(단일, 완전, 평균, 가중, Ward, 중심, 중위)에 대해 이론적 복잡도와 실험적 성능을 비교해 최적 선택을 권고한다.

상세 분석

논문은 먼저 SAHN(Sequential Agglomerative Hierarchic Non‑overlapping) 프레임워크를 명확히 정의하고, 입력을 N(N‑1)/2개의 쌍별 비대칭 거리값, 출력은 N‑1개의 (a, b, δ) 삼중항으로 구성된 스텝와이즈 덴드로그램으로 제한한다. 이 구조는 R, SciPy, MATLAB 등에서 실제 사용되는 포맷과 일치하므로, 제안된 알고리즘은 기존 패키지에 바로 적용 가능하다.

핵심 기여는 “범용 알고리즘(Generic Algorithm)”이다. 이 알고리즘은 거리 업데이트 식이 어떠한 형태이든(단일, 완전, 평균, 가중, Ward, 중심, 중위) 동일한 흐름으로 동작하도록 설계되었으며, 최소 힙과 Union‑Find를 결합해 현재 가장 가까운 클러스터 쌍을 O(log N) 시간에 찾는다. 클러스터 병합 후 거리 행렬을 업데이트할 때는 선택적 lazy‑update 전략을 사용해 전체 복잡도를 O(N²)로 낮춘다. 특히 중심(centroid)과 중위(median) 방식은 병합 순서에 따라 거리값이 변동될 수 있어, 기존 알고리즘이 종종 O(N³) 수준으로 급증하던 문제를 효과적으로 억제한다.

Rohlf(1973)의 최소 신장 트리 기반 단일 연결 알고리즘과 Murtagh(1985)의 최근접 체인(Nearest‑Neighbor‑Chain) 알고리즘은 각각 구현상의 미비점이 있었는데, 논문은 이를 정형화된 증명으로 보완한다. Rohlf 알고리즘은 MST를 단계별로 재구성하면서 클러스터를 합치는 과정이 스텝와이즈 덴드로그램과 일치함을 보이고, Murtagh 알고리즘은 체인 탐색이 최적의 최근접 쌍을 항상 찾는다는 점을 귀류법으로 증명한다.

복잡도 분석에서는 최악의 경우 Θ(N²) 메모리와 Θ(N² log N) 시간 상한을 제시한다. 실험에서는 10⁴10⁵ 규모의 무작위 거리 행렬과 실제 유전·이미지 데이터셋을 대상으로 기존 SLINK, FastCluster, SciPy 기본 구현과 비교했을 때, 특히 중심·중위 방식에서 25배의 속도 향상을 기록한다. 또한, 스텝와이즈 덴드로그램에 역전(inversion)이 발생할 수 있는 경우를 정량화하고, 이를 방지하기 위한 거리 업데이트 조건을 명시한다.

마지막으로 각 연결 방식별 최적 알고리즘을 권고한다. 단일·완전·평균·가중·Ward는 기존 FastCluster 구현이 충분히 효율적이며, 중심·중위는 새로 제안한 범용 알고리즘이 현존 최선임을 제시한다. 이러한 권고는 구현 난이도, 메모리 요구량, 그리고 스텝와이즈 덴드로그램의 정확성 보장을 모두 고려한 결과이다.