대규모 그래프 이웃 함수 근사화 HyperANF

초록

HyperANF는 HyperLogLog 카운터와 광워드 프로그래밍을 결합해 ANF의 한계를 뛰어넘는 이웃 함수(N(t)) 근사 알고리즘이다. 멀티코어 오버디컴포지션을 활용해 수십억 노드 규모 그래프를 몇 시간 안에 작은 오차와 높은 신뢰도로 계산한다. 또한 최단 경로 길이 분포의 분산 지표인 spid(Shortest‑Paths Index of Dispersion)를 제안해 소셜 네트워크와 웹 그래프를 명확히 구분한다.

상세 분석

본 논문은 그래프 이웃 함수 N(t)를 효율적으로 근사하는 HyperANF 알고리즘을 제시한다. 기존 ANF는 플로이드‑워셜식 전파와 비트맵을 이용했으나, 메모리와 연산량이 그래프 규모가 커질수록 급증한다. HyperANF는 이를 해결하기 위해 두 가지 핵심 기술을 도입한다. 첫째, HyperLogLog(HLL) 카운터를 사용해 각 정점의 t‑hop 이웃 집합을 압축한다. HLL은 로그‑선형 메모리 사용량으로 중복을 거의 없애면서 카디널리티를 추정한다. 둘째, 광워드(broadword) 프로그래밍을 통해 HLL 레지스터를 SIMD‑like 방식으로 병렬 합성한다. 이는 CPU 레지스터 수준에서 비트 연산을 일괄 처리해 기존 비트맵 기반 합성보다 수십 배 빠른 속도를 제공한다.

알고리즘 구현에서는 그래프를 정점 단위로 오버디컴포지션(overdecomposition)하여 작업 큐에 할당하고, 워커 스레드가 동적으로 작업을 가져가며 메모리 접근 충돌을 최소화한다. 이 설계는 멀티코어 환경에서 거의 선형적인 스케일링을 보이며, 일반적인 워크스테이션(예: 16코어, 64 GB RAM)에서도 수십억 정점·수십억 엣지를 처리할 수 있다.

정확도 측면에서는 HLL의 표준 오차가 약 1.04/√m(여기서 m은 레지스터 수)임을 이용해 파라미터 m을 조절한다. 실험에서는 m=2^12 정도면 2 % 이하의 상대 오차와 95 % 신뢰 구간을 달성한다. 또한, 알고리즘은 N(t) 전체 곡선을 한 번에 추정하므로, 직경, 평균 최단 경로, 효율성 지표 등을 별도 계산 없이 바로 얻을 수 있다.

논문의 또 다른 주요 기여는 최단 경로 길이 분포의 분산 지표인 spid를 정의하고, 이를 통해 소셜 네트워크와 웹 그래프를 구별한다는 점이다. spid는 분산/평균 비율로, 소셜 네트워크는 값이 1에 가깝거나 이하(즉, 경로 길이가 균일)인 반면, 웹 그래프는 1보다 크게 나타난다. 이는 기존의 클러스터링 계수나 평균 거리와는 다른 비국소적 구조 정보를 제공한다.

전체적으로 HyperANF는 메모리 효율성, 연산 속도, 확장성, 그리고 새로운 구조적 통계(spid)까지 제공함으로써 대규모 네트워크 분석에 실용적인 도구로 자리매김한다.