계층적 합의를 통한 대규모 클러스터링 확장 프레임워크 CoHiRF

초록

CoHiRF는 기존 클러스터링 알고리즘을 그대로 사용하면서, 무작위 저차원 특징 뷰와 라벨 합의를 통해 계층적으로 문제 크기를 축소한다. 라벨 기반 합의와 대표 메디오이드 선택을 반복함으로써 메모리·시간 복잡도를 크게 낮추고, 클러스터 융합 계층(CFH)을 제공해 다중 해상도의 해석 가능성을 확보한다. 실험에서는 K‑Means, 커널 K‑Means, DBSCAN, 스펙트럴 클러스터링 등 다양한 베이스 메서드에 적용해 고차원 노이즈에 대한 강인성, 재현성, 그리고 대규모 데이터 처리 능력을 입증하였다.

상세 분석

CoHiRF는 “메타‑알고리즘”이라는 관점에서 기존 클러스터링 방법(베이스 클러스터링 메소드, BCM)의 목적함수나 최적화 절차를 전혀 변경하지 않는다. 핵심 아이디어는 현재 활성화된 샘플(또는 메디오이드) 집합에 대해 R개의 무작위 특징 서브셋(q 차원)을 추출하고, 각 서브셋에 BCM을 독립적으로 적용한다는 점이다. 이렇게 얻어진 R개의 라벨링 결과를 “엄격 합의”(모든 뷰에서 동일한 라벨 관계가 나타난 경우만 유지) 혹은 “완화 합의”(불일치가 심한 뷰를 배제) 방식으로 통합한다. 합의 결과로 도출된 클러스터마다 대표 메디오이드를 선택하고, 이 메디오이드들만을 다음 단계의 활성 샘플로 삼아 문제 규모를 점진적으로 축소한다. 이 과정을 수렴할 때까지 반복하면, 각 단계에서 발생한 클러스터 병합 정보를 부모 벡터 P에 기록해 “클러스터 융합 계층(CFH)”을 형성한다.

이 구조는 전통적인 병합 기반 덴드로그램과 차별화된다. 거리 기반 병합이 아니라 라벨 일관성에 기반하므로, 비구형, 밀도 기반, 혹은 매니폴드 구조를 가진 데이터에서도 의미 있는 병합이 가능하다. 또한, 동일 라벨 관계가 여러 뷰에서 재현될 때만 메디오이드를 유지하기 때문에, 고차원 잡음에 강인하고, 베이스 메소드의 불안정성을 완화한다.

Scalability 측면에서는 두 가지 핵심 기법이 도입된다. 첫째, 무작위 특징 뷰를 이용해 차원 축소를 수행함으로써 메모리 사용량을 O(n·q) 수준으로 낮춘다( q≪p ). 둘째, 배치 처리 방식을 적용해 전체 데이터를 여러 배치로 나누고, 각 배치에서 독립적으로 합의를 수행한 뒤 메디오이드를 전역적으로 다시 합친다. 이때 전체 복잡도는 O( (n/B)·R·C_BCM(q) + B·R·C_BCM(q) ) 로, B는 배치 수, C_BCM(q)는 베이스 메소드의 q 차원에서의 실행 비용이다. 이론적 분석에서는 메모리 요구량이 O(n·q + B·q) 로, 기존 O(n²) 혹은 O(np) 메모리 요구와 비교해 크게 감소함을 보인다.

실험에서는 합성 데이터(구형, 비구형, 매니폴드, 고차원 잡음)와 실제 데이터(이미지 세그멘테이션, 단일 세포 전사체, 대규모 소셜 네트워크)에서 K‑Means, 커널 K‑Means, DBSCAN, SC‑SRGF 등 네 가지 베이스 메소드를 적용했다. 결과는 다음과 같다. (1) 고차원 잡음이 심한 경우, 무작위 특징 뷰와 합의를 통해 ARI 점수가 평균 12% 상승했다. (2) 동일 데이터에 대해 여러 번 실행했을 때 라벨 변동성이 크게 감소했으며, 특히 DBSCAN과 같은 비결정적 메소드에서 안정성이 크게 향상되었다. (3) n≈10⁶, p≈10⁴ 규모의 데이터에서도 배치 처리와 메디오이드 축소 덕분에 메모리 사용량이 2 GB 이하로 유지되었고, 실행 시간은 기존 베이스 메소드 대비 3~5배 가량 단축되었다. (4) CFH를 시각화하면, 초기의 미세 클러스터가 점진적으로 합쳐지는 과정을 한눈에 파악할 수 있어, 데이터 분석가가 다중 해상도에서 의미 있는 구조를 탐색하는 데 유용했다.

또한, 논문은 “재현 가능한 라벨 관계”가 존재할 때 계층적 합의가 효과적임을 정량화하였다. 라벨 일관성 지표(예: 평균 조화도)가 0.7 이상인 경우, 메디오이드 축소 후에도 원본 클러스터링 품질이 95% 이상 유지되는 경향을 보였다. 반대로, 라벨 일관성이 낮은 경우(예: 고차원 잡음이 극심하거나 베이스 메소드가 과도하게 민감한 경우)에는 완화 합의를 적용하거나 R·q 값을 늘려 안정성을 회복할 수 있다.

요약하면, CoHiRF는 (1) 베이스 메소드의 “알고리즘적 정체성”을 보존하면서, (2) 무작위 저차원 뷰와 라벨 합의를 통해 고차원·대규모 데이터에 대한 확장성을 제공하고, (3) 클러스터 융합 계층을 통해 해석 가능성을 부여한다는 세 가지 핵심 가치를 동시에 달성한다.