대규모 네트워크 클러스터링 알고리즘과 품질 지표의 종합 비교

초록

본 연구는 Louvain, Infomap, 라벨 전파, Smart Local Moving 네 가지 대표 클러스터링 알고리즘을 1천에서 100만 노드 규모의 합성·실제 그래프에 적용하고, 모듈러리티·컨덕턴스·커버리지라는 독립 품질 지표와 조정 Rand 지수·정규화 상호 정보(NMI)·변형 NMI라는 정보 복구 지표 간의 상관관계를 체계적으로 분석한다. 실험 결과, 컨덕턴스가 독립 지표 중 정보 복구 성능을 가장 잘 예측하며, 변형 NMI는 전통 NMI와 크게 차이날 수 있음을 확인한다. 알고리즘별로는 Smart Local Moving이 전반적으로 우수하지만, 평가 지표마다 순위가 달라 절대적인 우위를 선언하기는 어렵다.

상세 분석

이 논문은 네트워크 클러스터링 연구에서 흔히 간과되는 “품질 지표 간의 관계”를 정량적으로 밝히려는 시도이다. 먼저 실험 설계는 두 단계로 나뉜다. 합성 데이터는 LFR 벤치마크를 사용해 µ(외부 연결 비율)를 0.1부터 0.8까지 변화시켜 클러스터 경계가 흐려지는 상황을 만든다. 실험 규모는 1천, 10천, 100천, 1백만 노드 네 단계로 확장했으며, 실제 데이터는 Flickr 이미지 네트워크(≈106K 노드)와 DBLP 공동저자 네트워크(≈317K 노드)를 사용했다.

알고리즘은 각각의 설계 목표가 다르다. Louvain은 모듈러리티 최적화를 위한 계층적 병합 방식이며, Smart Local Moving(SLM)은 Louvain의 두 단계와 다중 레벨 정제 기법을 결합해 더 정교한 지역 이동을 수행한다. Infomap은 랜덤 워크 기반 최소 설명 길이(MDL)를 최적화하고, 라벨 전파는 이웃 라벨 다수결을 반복해 수렴한다.

품질 지표는 크게 두 그룹으로 나뉜다. 독립 지표인 모듈러리티, 컨덕턴스, 커버리지는 각각 내부 연결 밀도, 외부 연결 비율, 전체 내부 에지 비율을 정규화한 값으로 0~1 범위이며 1에 가까울수록 좋은 클러스터링을 의미한다. 정보 복구 지표인 조정 Rand 지수(ARI), 정규화 상호 정보(NMI), 변형 NMI는 “골드 스탠다드”인 LFR의 내재된 커뮤니티와 알고리즘이 산출한 파티션 간의 일치도를 측정한다.

실험 결과는 몇 가지 중요한 통찰을 제공한다. 첫째, 모듈러리티와 정보 복구 지표 사이의 상관관계는 낮았다. 예를 들어, 어떤 알고리즘은 모듈러리티 0.4를 기록했지만 ARI와 NMI는 0에 수렴했다. 이는 모듈러리티가 높은 클러스터링이 실제 커뮤니티 구조를 정확히 복원한다는 보장을 하지 않음을 의미한다. 둘째, 컨덕턴스는 독립 지표 중 가장 높은 상관계수를 보였으며, 특히 µ가 증가해 클러스터 경계가 흐려질수록 컨덕턴스 감소가 정보 복구 성능 저하와 일치했다. 셋째, 변형 NMI는 전통 NMI와 차이가 크게 나타났으며, 특히 겹치는 커뮤니티가 없더라도 평균 0.15~0.2 정도의 절대적 차이를 보였다. 이는 이전 연구에서 변형 NMI를 기존 NMI와 동일하게 취급한 것이 부적절함을 시사한다.

알고리즘별 성능 비교에서는 SLM이 전반적으로 가장 높은 모듈러리티와 컨덕턴스를 달성했으며, ARI와 NMI에서도 최고 수준을 기록했다. 그러나 대규모(1M 노드) 그래프에서는 라벨 전파가 메모리와 시간 측면에서 가장 효율적이었으며, 클러스터가 명확히 구분된 경우(µ≤0.3) 정보 복구 지표에서도 경쟁력 있는 점수를 얻었다. Louvain은 Infomap보다 거의 모든 실험 설정에서 높은 모듈러리티와 컨덕턴스를 보였으며, 특히 µ가 낮은 경우 NMI에서도 Louvain이 우세했다. 이는 기존 연구에서 Infomap이 Louvain보다 우수하다고 결론짓던 결과와 상반된다.

마지막으로, 실제 데이터에 대한 평가에서도 동일한 경향이 관찰되었다. Flickr 데이터에서는 SLM이 가장 높은 커버리지와 NMI를 기록했으며, DBLP에서는 라벨 전파가 빠른 실행 시간에도 불구하고 ARI가 0.62로 꽤 높은 복구 성능을 보였다. 이는 합성 벤치마크와 실제 네트워크 모두에서 평가 지표 선택이 결과 해석에 큰 영향을 미친다는 점을 강조한다.

요약하면, 클러스터링 알고리즘을 선택할 때는 단일 품질 지표에 의존하기보다는 컨덕턴스와 같은 구조적 지표와 정보 복구 지표를 동시에 고려해야 하며, 변형 NMI와 같은 비표준 지표는 신중히 사용해야 한다는 것이 본 연구의 핵심 메시지이다.