근사 삼각형 개수 추정을 위한 효율적 샘플링 기법

초록

본 논문은 대규모 그래프에서 삼각형 개수를 정확히 세는 비용을 크게 낮추기 위해, 최적의 샘플링 비율을 이론적으로 도출하고 실험적으로 검증한 실용적인 근사 알고리즘을 제시한다. Hadoop 기반 Pegasus 라이브러리에 구현되어 수백만 노드·엣지를 갖는 실제 네트워크에서 2,800배에서 70,000배까지 속도 향상을 달성하면서도 높은 정확도를 유지한다.

상세 분석

삼각형 개수는 그래프의 클러스터링 계수와 전이율을 계산하는 핵심 지표이지만, 전통적인 정확도 기반 방법은 O(m·d) 혹은 O(n³) 수준의 복잡도로 대규모 네트워크에 적용하기 어렵다. 저자들은 이러한 문제를 해결하기 위해 엣지 샘플링 기반의 근사 알고리즘을 설계하였다. 구체적으로, 전체 엣지 집합 E에서 일정 확률 p 로 무작위로 샘플링된 서브셋 Eₛ를 추출하고, 각 샘플링된 엣지 (u,v)에 대해 공통 이웃 집합 N(u)∩N(v)를 탐색하여 삼각형을 직접 계수한다. 이후, 전체 삼각형 개수 T̂는 T̂ = (1/p)·∑_{(u,v)∈Eₛ}|N(u)∩N(v)| 로 추정된다. 저자는 이 추정량이 편향이 없으며, 분산 Var(T̂) = (1-p)/p·σ² 형태임을 증명한다. 여기서 σ²는 각 엣지에 대한 삼각형 개수의 분산이다. 분산을 최소화하기 위해 p 를 최적화하면 p* = min{1, √(σ² / (T·ε²))} 와 같은 형태의 식이 도출된다(ε는 허용 오차). 이론적 분석을 통해 샘플링 비율이 그래프의 삼각형 분포와 밀접하게 연관됨을 밝히고, 특히 삼각형이 희소하게 분포된 스케일프리 그래프에서는 매우 작은 p 로도 높은 정확도를 얻을 수 있음을 보인다. 구현 측면에서는 Hadoop MapReduce 프레임워크 위에 Pegasus 라이브러리의 모듈로 통합하여, 각 맵 단계에서 엣지를 로드하고 로컬 메모리에서 공통 이웃을 계산, 리듀스 단계에서 스케일링을 수행한다. 이 과정은 데이터 로컬리티를 최대화하고, 네트워크 통신 비용을 최소화하도록 설계되었다. 실험에서는 LiveJournal, Twitter, Web-Google 등 수백만 노드·수천만 엣지를 가진 실제 네트워크에 적용했으며, p 를 0.001% 수준으로 낮추어도 평균 상대 오차가 2% 이하로 유지되는 동시에 실행 시간이 2,800배에서 70,000배까지 단축되는 결과를 얻었다. 이러한 성능 향상은 특히 그래프 분석 파이프라인에서 삼각형 기반 메트릭을 실시간 혹은 반복적으로 계산해야 하는 상황에 큰 실용적 가치를 제공한다.