숨겨진 커뮤니티 구조를 드러내는 HICODE 알고리즘

초록

본 논문은 네트워크 내에서 강한 커뮤니티에 가려진 약한 커뮤니티, 즉 “숨겨진 커뮤니티 구조”를 정의하고, 기존 탐지 알고리즘으로는 발견되지 않는 이러한 구조를 찾아내는 HICODE 프레임워크를 제안한다. HICODE는 기존 커뮤니티 탐지기를 적용한 뒤, 탐지된 커뮤니티의 구조를 단계적으로 제거·감소시켜 약한 커뮤니티를 드러낸다. 실험 결과, 실제 소셜·생물학 네트워크와 합성 데이터 모두에서 HICODE가 기존 방법보다 높은 재현율을 보이며, 특히 Dorm‑Year 예시에서 약한 ‘Year’ 커뮤니티를 성공적으로 복원한다.

상세 분석

이 논문은 기존 커뮤니티 탐지 연구가 주로 “가장 강한” 구조, 즉 모듈러리티 점수가 최대인 파티션에만 초점을 맞추는 한계를 지적한다. 저자들은 이러한 강한 구조가 네트워크 내에 존재할 경우, 그 안에 포함되거나 겹쳐 있는 약한 커뮤니티가 통계적·구조적 신호가 약해 탐지되지 않는 현상을 “숨겨진 커뮤니티 구조(hidden community structure)”라고 명명한다. 이 개념은 단순히 겹치는 커뮤니티를 찾는 기존 방법과는 구별된다. 겹치는 커뮤니티 탐지 알고리즘도 약한 커뮤니티가 강한 커뮤니티에 완전히 포함될 경우, 탐지 히스토리에서 사라지기 때문이다.

HICODE는 두 단계로 구성된다. 첫 번째는 Identification 단계로, 기본 커뮤니티 탐지기(예: Louvain, Infomap, OSLOM 등)를 네트워크에 적용해 현재 가장 강한 레이어를 찾는다. 이후 해당 레이어의 구조를 제거하거나 감소시킨다. 저자들은 세 가지 제거 방식을 제안한다. ① RemoveEdge는 레이어 내부의 모든 내부 에지를 삭제한다. 이는 가장 강력하지만 겹치는 영역을 과도하게 파괴할 위험이 있다. ② ReduceEdge는 레이어 내부 에지를 무작위로 삭제해 내부 연결 확률을 배경 확률과 동일하게 만든다. 이는 확률적이며, 약한 레이어가 남아 있는 구조를 보존한다. ③ ReduceWeight는 가중치 그래프를 지원하는 경우, 내부 에지의 가중치를 배경 확률에 맞게 스케일링한다. 이 방법은 결정적이며, 가중치 기반 탐지기에 적합하다.

Identification 단계가 반복되면서 강한 레이어가 차례로 “희석”되고, 그 결과 약한 레이어가 점차 드러난다. 두 번째는 Refinement 단계로, 이미 탐지된 모든 레이어를 순차적으로 재검증한다. 구체적으로, 레이어 L을 재탐지하기 위해 L 이외의 모든 레이어를 먼저 감소시킨 뒤, 기본 탐지기를 다시 적용한다. 이렇게 하면 서로 간섭하는 약한 레이어들의 영향을 최소화해 각 레이어의 정밀도가 향상된다.

또한 HICODE는 자동 레이어 수 결정 메커니즘을 제공한다. 레이어를 하나씩 추가하면서 모듈러리티나 기타 품질 지표가 일정 임계값 이하로 감소하면 탐지를 중단한다. 이는 과도한 레이어 분할을 방지하고, 실제 네트워크에 존재하는 의미 있는 레이어 수를 추정한다.

실험에서는 두 종류의 데이터셋을 사용한다. 첫째, 합성 네트워크는 두 개의 독립적인 커뮤니티 레이어(강한 레이어와 약한 레이어)를 갖도록 설계되었으며, 각 레이어의 모듈러리티와 커뮤니티 크기를 다양하게 변형했다. HICODE는 약한 레이어의 JCRecall(새로 정의된 재현율 기반 지표)에서 0.7 이상을 달성했으며, 기존 베이스라인(Louvain, Infomap, OSLOM, Cascade 등)은 0.2 이하에 머물렀다. 둘째, 실제 데이터로는 대학생 소셜 네트워크, 페이스북 친구망, 생물학적 단백질 상호작용망 등을 분석했다. 특히 대학생 네트워크에서는 ‘Dorm’(기숙사)과 ‘Year’(학년) 두 가지 실제 라벨이 존재했는데, 대부분의 기존 알고리즘은 Dorm 레이어만을 포착했다. HICODE는 두 레이어 모두를 높은 JCRecall(>0.7)로 복원함으로써 숨겨진 구조를 성공적으로 드러냈다.

비교 실험에서 저자들은 특히 Cascade와의 차별점을 강조한다. Cascade는 탐지된 레이어의 모든 내부 에지를 완전 삭제하는데, 이는 약한 레이어가 겹치는 경우 정보를 영구적으로 손실시킨다. 반면 HICODE의 ReduceEdge/ReduceWeight는 배경 확률에 맞춰 미세 조정함으로써 약한 레이어의 신호를 보존한다. 또한 HICODE는 Refinement 단계를 통해 레이어 간 상호작용을 최소화하는데, 이는 실험 결과에서 정밀도와 재현율 모두에서 현저한 개선으로 나타났다.

결론적으로, 이 논문은 네트워크 분석에서 “단일 최적 파티션”이라는 전통적 사고를 넘어, 다중 레이어의 존재와 그 상호 억제 효과를 체계적으로 탐지하는 방법론을 제공한다. HICODE는 기존 탐지기와 쉽게 결합될 수 있는 템플릿 형태이며, 다양한 도메인(사회학, 생물학, 정보 과학 등)에서 숨겨진 구조를 밝혀내는 데 유용한 도구가 될 것으로 기대된다.