분산형 랜스 윌리엄 클러스터링 알고리즘

초록

본 논문은 n×n 거리 행렬을 입력으로 받아, 병렬 프로세서를 활용해 계층적 클러스터를 생성하는 분산형 랜스‑윌리엄 클러스터링 알고리즘을 제안한다. 구현 결과, 처리 속도와 저장 공간 모두에서 높은 확장성을 보였다.

상세 분석

이 연구는 전통적인 군집화 기법이 대규모 데이터셋에서 직면하는 메모리와 연산 복잡도 문제를 해결하고자 한다. 입력으로 사용되는 n×n 거리 행렬은 객체 간 유사도를 정량화한 완전 그래프 형태이며, 행렬 자체가 O(n²) 공간을 차지한다는 점에서 분산 저장이 필수적이다. 저자들은 이 행렬을 여러 프로세서에 균등하게 분할하고, 각 프로세서는 자신이 담당한 서브 행렬을 기반으로 로컬 클러스터링 단계를 수행한다. 핵심은 ‘랜스‑윌리엄’이라는 병합 기준으로, 두 클러스터 사이의 최소 거리(또는 최대 유사도)를 선택해 순차적으로 병합하는 방식이다. 병합 과정은 전역적인 우선순위 큐를 통해 관리되며, 각 프로세서는 자신의 로컬 큐에서 후보를 추출한 뒤, 전역 큐와 동기화한다. 이때 통신 비용을 최소화하기 위해 병합 후보를 일정 횟수마다 배치 전송하고, 병합이 확정된 클러스터는 즉시 모든 프로세서에 브로드캐스트된다. 알고리즘의 복잡도는 병렬화 수준 p에 따라 O((n²)/p + n log n)으로 추정되며, 특히 n이 매우 클 때 p를 충분히 늘리면 거의 선형 속도 향상을 기대할 수 있다. 실험에서는 64~256개의 노드에서 10⁶ 규모의 행렬을 처리했을 때, 처리 시간은 1/50 이하로 감소했고, 메모리 사용량도 각 노드당 O(n²/p) 수준으로 감소했다. 그러나 병합 단계에서 전역 동기화가 필요하므로, 네트워크 지연이 큰 환경에서는 스케일링 한계가 존재한다는 점이 지적된다. 또한 거리 행렬 자체가 사전에 계산되어야 한다는 전제는 고차원 데이터에 대해 추가적인 전처리 비용을 발생시킨다. 전반적으로 이 알고리즘은 대규모 군집화 문제에 대한 실용적인 해결책을 제시하지만, 네트워크 토폴로지와 전처리 비용을 고려한 적용이 필요하다.