통계적으로 의미 있는 커뮤니티와 계층 구조를 메시지 전달로 탐지

이 논문은 그래프 커뮤니티 탐지에서 널리 사용되는 모듈러티 지표가 갖는 근본적인 문제점을 지적한다. 모듈러티를 최대화하는 전통적 방법은 (1) 무작위 그래프에서도 높은 모듈러티 값을 반환해 허위 커뮤니티를 만들어 내고, (2) 실제 네트워크에서는 거의 동일한 모듈러티를 갖는 다수의 파티션이 존재해 결과가 불안정하고 재현성이 낮다. 이러한 문제를 해결하기 위해 저자들은 모듈러티를 물리학에서의 해밀토니언과 동일시하고, 역온도 β 를 도입한 Gibbs 분포 P({t})∝e^{−βE} (E = −mQ) 를 정의한다. 온도가 0에 가까우면 최적 파티션만을 탐색하지만, 유한 온도에서는 높은 모듈러티를 갖는 여러 파티션이 확률적으로 존재한다. 이 Gibbs 분포의 주변 확률(마진)을 추정하면, 각 노드가 가장 높은 확률을 갖는 커뮤니티에 할당되는 ‘회수 파티션( retrieval partition )’을 얻을 수 있다. 회수 파티션은 단일 최적 파티션보다 통계적 신뢰도가 높으며, 다수의 좋은 해를 합의시키는 효과를 제공한다. 마진을 효율적으로 계산하기 위해 저자들은 ‘cavity method’에 기반한 베일리프 전파(BP) 알고리즘을 설계한다. BP는 각 엣지에 메시지를 전달하고, 반복 업데이트를 통해 고정점에 수렴한다. 고정점의 종류에 따라 파라메트릭 단계(모든 노드가 균등 확률), 회수 단계(통계적으로 의미 있는 커뮤니티가 형성), 스핀 글라스 단계(복제 대칭 파괴, 수렴 불안정)로 구분된다. 이론적 분석을 통해 파라메트릭 고정점의 안정성을 조사하고, 전이점 β* (식 3)와 회수 단계 전이점 β_R (식 4)를 도출한다. β_R 은 Kesten‑Stigum 경계와 일치하여, 확률적 블록 모델(SBM)에서 탐지 가능성 한계까지 회수 파티션을 얻을 수 있음을 의미한다. β* 은 최적 온도가 아니며, 실제 데이터에서는 β를 β* 에 고정해도 충분히 좋은 성능을 보인다. 실험에서는 ER 무작위 그래프와 SBM을 이용해 전이 현상을 재현한다. ER 그래프에서는 β* = 1에서 파라메트릭에서 스핀 글라스 단계로 전이하고 회수 단계가 존재하지 않는다. 반면 SBM에서는 β_R > β* 에서 회수 단계가 나타나며, β가 증가함에 따라 회수 모듈러티가 급격히 상승하고 이후 스핀 글라스 단계에 진입한다. BP의 수렴 시간은 전이점 근처에서 발산하는 특성을 보이며, 이는 이론적 예측과 일치한다. 실제 네트워크에 적용할 때는 q(커뮤니티 수)와 평균 차수 c 를 이용해 β* 을 사전 계산하고, 이를 고정값으로 사용한다. q가 알려지지 않은 경우, 회수 모듈러티가 더 이상 증가하지 않는 q를 최적값으로 선택한다. 이는 기존 최대 모듈러티 기반 방법이 q를 늘릴수록 값이 계속 상승하는 문제를 해결한다. 다양한 실제 네트워크(카라테 클럽, 돌고래 사회, 미국 정치 서적, 단어 인접성, 정치 블로그, Gnutella, Epinions, 웹‑구글 등)에 대해 알고리즘을 적용한 결과, 회수 단계가 존재하고 높은 회수 모듈러티와 실제 라벨과의 높은 겹침(overlap)을 보였다. 특히 Gnutella, Epinions, 웹‑구글과 같이 이전 연구에서는 큰 커뮤니티가 없다고 결론지은 네트워크에서도 통계적으로 의미 있는 대규모 커뮤니티를 발견했다. 계층적 구조 탐지를 위해 알고리즘을 재귀적으로 적용한다. 먼저 전체 그래프에서 최적 q를 찾고 회수 파티션을 얻은 뒤, 각 서브그래프에 대해 동일 절차를 반복한다. 서브그래프가 더 이상 회수 단계가 없을 때 탐지를 멈춘다. SBM에서는 서브그래프가 ER 형태가 되므로 추가 단계가 없으며, 실제 대형 네트워크에서는 5단계 이상의 깊은 계층이 발견된다(예: 정치 블로그 네트워크). 결론적으로, 이 연구는 모듈러티를 통계 물리학적 프레임으로 재해석하고, 베일리프 전파 기반 메시지 전달을 통해 확률적 합의를 구함으로써 ‘통계적으로 의미 있는’ 커뮤니티와 그 계층 구조를 효율적으로 탐지한다. 알고리즘은 선형 시간 복잡도로 대규모 네트워크에 적용 가능하고, SBM의 탐지 한계까지 작동함을 이론·실험 모두에서 입증한다.