계층 구조와 네트워크 결측 연결 예측

초록

본 논문은 네트워크의 계층적 구조를 확률적 모델인 계층적 랜덤 그래프(HRG)로 정의하고, 최대우도와 마코프 체인 몬테카를로(MCMC) 샘플링을 통해 실제 네트워크에 최적의 수목(dendrogram)과 연결 확률을 추정한다. 제시된 방법은 네트워크의 차수 분포, 클러스터링, 평균 최단 경로 등 다양한 토폴로지 특성을 재현할 뿐 아니라, 관측되지 않은 연결을 높은 정확도로 예측한다. 세 가지 실험(대사 네트워크, 테러리스트 연관망, 초목 식물군 상호작용망)에서 기존 링크 예측 기법보다 우수한 AUC 값을 보이며, 계층적 구조가 복합적인 네트워크 현상의 핵심 조직 원리임을 입증한다.

상세 분석

이 연구는 네트워크 분석에 있어 ‘계층적 구조’를 정량화하고 활용하는 새로운 프레임워크를 제시한다. 먼저, 네트워크를 이진 트리 형태의 수목으로 표현하고, 각 내부 노드 r에 연결 확률 p₍r₎를 부여한다. 두 정점이 가장 낮은 공통 조상을 통해 연결될 확률은 해당 조상의 p₍r₎이며, 이는 전통적인 커뮤니티(모듈) 개념을 확장해 다중 스케일의 집단화를 동시에 모델링한다. 이러한 계층적 랜덤 그래프(HRG)는 p₍r₎ 값이 트리 상위로 갈수록 감소하면 ‘동질성(assortative)’ 구조를, 반대로 증가하면 ‘비동질성(disassortative)’ 구조를 재현한다.

모델 파라미터 추정은 네트워크의 관측된 엣지를 조건부 확률로 보는 최대우도 접근법을 기반으로 한다. 트리 구조와 p₍r₎의 결합 공간은 매우 크기 때문에, 저자들은 메트로폴리스-해스팅스 MCMC 알고리즘을 설계해 가능한 수목들을 샘플링한다. 각 샘플은 관측된 네트워크를 생성할 확률에 비례하므로, 다수의 고가능도 수목을 얻어 ‘샘플링 앙상블’을 만든다. 이 앙상블을 이용해 (1) 평균 p₍r₎값을 계산해 결측 링크를 점수화하고, (2) 여러 수목을 통합해 합의 수목(consensus dendrogram)을 도출한다.

실험에서는 세 가지 이질적인 네트워크에 모델을 적용했다. 첫 번째는 스피로체테 Treponema pallidum의 대사 네트워크, 두 번째는 전 세계 테러리스트 간 연관망, 세 번째는 초목 식물군의 먹이망이다. 각 네트워크에 대해 HRG를 샘플링한 뒤, 동일한 계층 구조를 가진 인공 네트워크를 재생성했다. 재생성된 네트워크는 원본과 거의 동일한 차수 분포, 클러스터링 계수, 평균 최단 경로 길이를 보였으며, 이는 HRG가 이러한 전역 특성을 내재적으로 설명함을 의미한다.

링크 예측 실험에서는 원본 네트워크에서 무작위로 일정 비율의 엣지를 제거하고, 남은 엣지만을 이용해 HRG를 재추정했다. 각 정점 쌍에 대해 평균 연결 확률을 계산해 순위를 매긴 뒤, AUC(Area Under ROC Curve) 지표로 성능을 평가했다. HRG 기반 방법은 모든 데이터셋에서 AUC가 0.5(무작위)보다 크게 향상되었으며, 특히 초목 식물군 네트워크에서는 기존의 공통 이웃, Jaccard, 차수 곱, 최단 경로 기반 방법들을 크게 앞섰다. 이는 HRG가 동질·비동질 구조가 혼재된 복합 네트워크에서도 효과적으로 결측 연결을 포착할 수 있음을 보여준다.

또한, 저자들은 HRG가 기존 계층적 모델과 차별화되는 점을 강조한다. 기존 연구는 단일 최적 수목을 찾는 데 초점을 맞추었지만, 이 논문은 다수의 가능한 수목을 샘플링해 과적합을 방지하고, 합의 수목을 통해 네트워크의 핵심 구조를 직관적으로 시각화한다. 모델은 가짜 양성(관측된 엣지가 실제는 오류인 경우)도 동일한 원리로 탐지 가능하도록 확장될 수 있다.

전체적으로 이 연구는 (1) 계층적 구조를 확률적 그래프 모델로 정형화, (2) 베이지안적 샘플링을 통한 효율적 추정, (3) 구조 재현 및 결측 링크 예측에서 기존 방법을 능가하는 실증적 증거, (4) 다양한 분야에 적용 가능한 일반 프레임워크를 제공한다는 점에서 네트워크 과학에 중요한 기여를 한다.