콘텐츠와 링크를 결합한 대규모 네트워크 커뮤니티 탐색

초록

본 논문은 링크 구조에 존재하는 잡음을 완화하기 위해 콘텐츠 유사도와 링크 강도를 융합한 간단한 신호 강도 측정 방식을 제안한다. 이를 기반으로 편향된 엣지 샘플링을 수행해 백본 그래프를 만든 뒤, Metis와 Markov Clustering 같은 기존 커뮤니티 탐지 알고리즘으로 효율적으로 군집을 형성한다. Flickr, Wikipedia, CiteSeer 등 실제 대규모 데이터셋 실험에서 콘텐츠와 링크를 결합했을 때 정량·정성적으로 성능이 향상되었으며, 샘플링 기법 덕분에 실행 속도가 기존 방법보다 수십 배에서 수백 배 빠른 것을 확인하였다.

상세 분석

이 논문은 네트워크 분석에서 흔히 발생하는 링크 잡음(오탐·누락) 문제를 콘텐츠 정보를 활용해 보정하는 접근법을 제시한다. 핵심 아이디어는 두 노드 사이의 ‘신호 강도’를 “링크 강도 × 콘텐츠 유사도” 형태로 정의하고, 여기서 링크 강도는 해당 엣지가 같은 커뮤니티 내부에 존재할 확률을 추정한다. 콘텐츠 유사도는 텍스트 기반 코사인 유사도 혹은 집합 기반 Jaccard 계수를 사용해 간단히 계산한다. 두 유사도 값을 곱함으로써, 어느 한쪽이 약할 경우 전체 신호가 억제돼 잡음 엣지가 자연스럽게 낮은 점수를 받게 된다.

다음 단계는 ‘편향된 엣지 샘플링(biased edge sampling)’이다. 각 노드에 대해 주변 노드와의 신호 강도를 정렬하고, 상위 k% 혹은 일정 임계값 이상인 엣지만을 보존한다. 이렇게 하면 로컬에서 의미 있는 연결만 남게 되어 그래프의 밀도가 크게 감소한다. 저밀도 백본 그래프는 메모리와 연산량을 크게 절감하면서도 원본 그래프의 커뮤니티 구조를 충분히 보존한다는 점이 실험을 통해 입증된다.

클러스터링 단계에서는 기존의 메타휴리스틱 기반 파티셔닝 툴인 Metis와, 확률 전이 기반의 Markov Clustering(MCL)을 그대로 적용한다. 두 알고리즘 모두 백본 그래프가 희소해짐에 따라 실행 시간이 급격히 단축된다. 특히 MCL은 전이 행렬의 희소성을 활용해 수백 배 빠른 수렴을 보이며, Metis는 파티션 품질을 유지하면서도 메모리 사용량을 크게 낮춘다.

실험에서는 Flickr(수십만 노드, 수백만 엣지), Wikipedia(수백만 노드), CiteSeer(수십만 논문) 등 다양한 도메인의 데이터셋을 사용했다. 평가 지표는 정밀도·재현율·F1 점수와 NMI(Normalized Mutual Information) 등 표준 커뮤니티 품질 지표이며, 베이스라인으로는 Content-augmented Modularity, Joint Nonnegative Matrix Factorization, Graph Convolutional Networks 기반 방법 등을 선정했다. 모든 베이스라인 대비 콘텐츠와 링크를 결합한 신호 강도 모델이 평균 5~12% 높은 NMI를 기록했고, 편향 샘플링을 적용했을 때 실행 시간은 기존 방법의 0.1% 수준으로 감소했다.

이 논문의 주요 기여는 (1) 복잡한 모델링 없이도 콘텐츠와 링크를 단순히 곱하는 방식으로 잡음 억제 효과를 얻은 점, (2) 로컬 기반 편향 샘플링을 통해 대규모 그래프에서도 효율적인 백본을 구축한 점, (3) 기존 커뮤니티 탐지 알고리즘과 손쉽게 결합할 수 있어 실무 적용성이 높다는 점이다. 다만, 콘텐츠 품질에 크게 의존한다는 한계와, 신호 강도 곱셈이 비선형 관계를 충분히 포착하지 못할 수 있다는 점은 향후 연구에서 보완이 필요하다.