적응형 선택 유사성을 활용한 강건하고 효율적인 계층적 클러스터링

초록

본 논문은 아이템 간 유사성을 모두 구하지 않고도, 내부 유사도가 외부 유사도보다 큰 ‘긴밀 클러스터링(TC)’ 조건 하에서 계층적 클러스터링을 정확히 복원할 수 있음을 보인다. 적응적으로 선택된 3N·log N 개의 유사성만으로도 완전한 트리를 재구성하고, 일부 유사성이 잡음이나 오류를 포함하더라도 O(N·log² N) 개의 적응적 샘플링으로 높은 확률에 따라 원래 구조를 복원한다.

상세 분석

이 연구는 기존의 전통적 계층적 클러스터링이 요구하는 N(N‑1)/2 개의 전부 유사성 행렬을 획득하는 비용을 크게 절감하는 새로운 프레임워크를 제시한다. 핵심 가정인 Tight Clustering(TC) 조건은 “같은 클러스터 안의 모든 쌍의 유사도는 그 클러스터 밖의 어떤 아이템과의 유사도보다 크다”는 단순하지만 강력한 전제이다. 이 조건이 만족될 경우, 단순히 가장 큰 유사도를 기준으로 하는 bottom‑up agglomerative 방법이 정확히 원래 트리를 복원한다는 점은 잘 알려져 있다. 그러나 TC 조건을 만족하더라도 전체 유사성 행렬을 필요로 하는 전통적 방법은 비효율적이다.

논문은 두 가지 주요 기여를 한다. 첫 번째는 무작위 샘플링이 왜 실패하는지를 정량적으로 증명한다. Proposition 1에 따르면, 클러스터 크기가 m인 경우, 무작위로 n개의 유사성을 선택했을 때 n < Nm(N‑1)이면 해당 클러스터를 식별할 확률이 급격히 낮아진다. 이는 특히 작은 클러스터가 존재할 때 거의 전체 N²/2 개의 유사성을 요구한다는 의미이며, 적응적 선택이 필수임을 이론적으로 뒷받침한다.

두 번째는 ‘OUTLIER‑cluster’ 알고리즘을 제안한다. 이 알고리즘은 세 아이템 (i, j, k) 에 대해 TC 조건 하에서 가장 작은 두 유사도와 가장 큰 유사도를 비교해 “리더”(leader)를 찾는 ‘outlier test’를 이용한다. Lemma 1에 따르면, 이 테스트는 실제 트리 구조에서의 리더와 정확히 일치한다. 따라서 트리 복원 문제는 리더십 테스트를 N·log₍3/2₎ N 번 수행하는 것으로 환원된다. 논문은 기존 그래프 모델 추론 연구(