불완전 데이터로부터 전역 네트워크 통계 추정 방법

초록

본 논문은 노드, 링크 또는 가중치가 부분적으로만 관측된 복잡 네트워크에서 전체 네트워크의 주요 통계량(노드 수, 엣지 수, 차수 분포 등)을 추정하기 위한 스케일링 기법을 제시한다. 네 가지 샘플링 방식(노드 샘플링, 링크 실패, 링크 샘플링, 가중치 샘플링)에 대해 수학적 변환식을 유도하고, 시뮬레이션 및 실제 데이터(여섯 개의 실험 네트워크와 트위터 리플라이 네트워크)에서 검증하였다. 결과적으로 적절한 샘플링 비율(q)을 알 경우, 관측된 서브네트워크만으로도 원본 네트워크의 차수 분포와 전역 통계량을 높은 정확도로 복원할 수 있음을 보였다.

상세 분석

이 연구는 복잡 네트워크 분석에서 가장 근본적인 문제인 “관측 불완전성”을 정량적으로 해결하고자 한다. 저자들은 네트워크를 무방향·가중치 없는 경우와 무방향·가중치 있는 경우로 구분하고, 각각에 대해 네 가지 대표적인 샘플링 전략을 정의한다. 첫 번째는 노드를 무작위로 선택하고 그에 의해 유도된 서브그래프를 취하는 방식이며, 두 번째는 전체 노드는 유지하되 링크를 확률 q 로 누락시키는 ‘링크 실패’ 모델이다. 세 번째는 링크 자체를 확률 q 로 선택해 서브그래프를 구성하는 ‘링크 샘플링’이며, 네 번째는 상호작용(가중치) 자체를 확률 q 로 추출하는 ‘가중치 샘플링’이다.

각 경우에 대해 저자들은 차수 i를 가진 노드가 서브네트워크에서 차수 k(≤i)를 갖게 되는 조건부 확률 Pr(k|i)=C(i,k) q^k (1−q)^{i−k} 를 이용해 관측 차수 분포 ˜P_k 를 식 (1)·(2)·(3) 형태로 전개한다. 특히 노드 샘플링에서는 관측된 노드 집합이 전체 노드 집합과 동일한 차수 분포를 보이도록 정규화 과정을 명시한다. 가장 핵심적인 기여는 관측 차수 분포 ˜P_k 로부터 원본 차수 분포 P_k 를 역추정하는 식 (3)을 제시한 점이다. 이는 ˜P_k 를 k부터 최대 차수까지의 이항계수와 (1−q)^{i−k} q^i 로 가중합한 뒤, 교대 부호(−1)^{i−k} 를 적용해 P_k 를 복원한다. 기존 문헌에서 제시된 식과는 q에 대한 스케일링 차이가 있으며, 저자는 이를 통해 비음수성을 보장하지는 않지만 실험적으로 충분히 안정적인 추정값을 얻었다는 점을 강조한다.

수학적 유도 외에도 저자들은 네트워크 통계량(노드 수 N, 엣지 수 M, 평균 차수 k̄, 최대 차수 k_max, 클러스터링 계수 C, 거대 컴포넌트 비율 S 등)의 스케일링 관계를 각각의 샘플링 방식에 맞춰 전개한다. 예를 들어, 노드 샘플링에서는 N̂ = N·q, M̂ = M·q^2 와 같이 단순히 비율을 제곱하거나 곱하는 형태가 성립한다는 점을 실험적으로 확인하였다.

검증 단계에서는 네 가지 인공 네트워크 모델(ER, 스케일프리, 스몰월드, 레인지-디펜던트)과 여섯 개의 실세계 네트워크(엘리건, 항공, 카라테, 돌고래, 응집 물질, 전력망)를 대상으로 5%~100%까지 5% 간격으로 100번씩 서브샘플링을 수행했다. 모든 경우에서 제안된 스케일링 식은 실제 원본 통계와 높은 상관관계를 보였으며, 특히 차수 분포 복원에서는 평균 절대 오차가 5% 이하로 유지되었다.

가중치 네트워크에 대해서는 두 가지 실험을 설계했다. 첫 번째는 모든 엣지에 동일한 가중치를 부여하고 가중치가 0보다 큰 엣지만을 선택하는 경우이며, 두 번째는 엣지 가중치를 1~9 사이의 균등 난수로 할당한 경우다. 두 실험 모두 가중치 평균이 증가함에 따라 전체 강도(s)와 평균 차수 k̄가 선형적으로 스케일링되는 것을 확인했으며, 이는 제안된 식이 가중치 분포에 대해서도 일반화 가능함을 시사한다.

마지막으로 트위터 리플라이 네트워크(100백만 트윗, 2008년 9월~11월)를 대상으로 실제 적용을 시도했다. 전체 트윗 중 25%~55%만 수집되었음에도 불구하고, q 값을 추정해 스케일링 식을 적용하면 전체 인터랙트옴의 노드 수, 평균 차수, 클러스터링 계수 등을 합리적인 범위 내에서 복원할 수 있었다. 특히 주간 단위로 분석한 결과, 개인이 유지하는 활성 사회적 접촉 수가 약 150명 수준에서 상한을 보인다는 ‘던바르 가설’의 실증적 지지를 제공한다.

전반적으로 이 논문은 “샘플링 비율을 알면, 관측된 서브네트워크만으로도 원본 네트워크의 전역 통계량을 정확히 추정할 수 있다”는 강력한 결론을 제시한다. 다만 q를 정확히 알 수 없는 상황에서는 추정 오차가 급격히 증가하므로, q 추정 방법에 대한 추가 연구가 필요하다는 한계점도 명시한다.