MapReduce에서 클리크 카운팅 이론과 실험

초록

본 논문은 대규모 그래프에서 상수 k≥3인 k‑클리크의 정확한 개수를 세는 새로운 MapReduce 알고리즘을 제안한다. 제안 알고리즘은 전체 공간 O(m³⁄²)와 작업량 O(m^{k/2})를 달성하며, 이는 기존 삼각형( k=3) 알고리즘과 동일한 최적 경계를 유지한다. 또한, 통신 비용이 k에 독립적인 점과, 높은 정확도를 보장하는 샘플링 기반 근사법을 함께 제공한다. 실험에서는 Amazon EC2 클러스터에서 다양한 실데이터와 합성 데이터를 이용해 기존 최첨단 방법들과 비교했으며, 특히 k‑클리크 수가 매우 큰 경우 제안 정확 알고리즘이 가장 효율적임을 확인했다. 근사 알고리즘은 실행 시간을 크게 단축하면서도 평균 오차가 0.08% 이하로 매우 정확했다.

상세 분석

이 논문은 MapReduce 환경에서 k‑클리크 카운팅 문제를 해결하기 위해 두 가지 주요 기여를 한다. 첫 번째는 정확한 카운팅을 위한 새로운 알고리즘(F³k)이다. 기존의 다중 조인 기반 방법(AFU_k)이나 Partition 방식은 k가 커질수록 통신 비용이 b^{k‑2} 형태로 급증하는 반면, F³k는 고차 이웃 집합(Γ⁺(u))을 이용해 각 정점을 책임자로 지정하고, 해당 정점의 고차 이웃 서브그래프 G⁺(u)에서 (k‑1)‑클리크를 세어 전체 k‑클리크 수를 얻는다. 이 접근법은 전체 공간을 O(m^{3/2})로 제한하고, 작업량을 O(m^{k/2})로 유지한다. 특히 k=3일 때는 Node Iterator++와 동일한 최적성을 보이며, k가 증가해도 통신량이 k에 의존하지 않아 확장성이 뛰어나다. 두 번째 기여는 샘플링 기반 근사 알고리즘이다. 무작위로 고차 이웃 집합을 선택하고, 선택된 서브그래프에서 클리크를 카운트한 뒤 전체 그래프에 대한 추정값을 보정한다. 이 방법은 MRC 모델의 메모리 제한을 만족하도록 설계되었으며, 높은 확률(1‑δ)로 실제 값에 근접한 추정치를 제공한다. 이론적 분석에서는 Chernoff 경계를 이용해 오차가 ε 이하가 될 확률을 보였고, 실험에서는 k가 커질수록 근사법이 정확도와 속도 면에서 큰 이점을 보였다. 실험 설계는 Amazon EC2의 다양한 인스턴스 타입을 활용해 작은/중간 규모 클러스터에서도 알고리즘이 안정적으로 동작함을 입증한다. 특히 실제 소셜 네트워크(SNAP 데이터)와 선호적 부착 모델로 생성한 합성 그래프에서, q_k(클리크 수)의 성장률을 정량화함으로써 k‑클리크가 급증하는 그래프가 알고리즘 성능에 미치는 영향을 상세히 분석한다. 결과적으로, 정확 알고리즘은 q_k가 매우 큰 경우(수조~수천조 수준)에도 메모리와 시간 효율성을 유지하며, 근사 알고리즘은 가장 어려운 인스턴스에서도 수분 내에 0.1% 이하의 오차로 결과를 제공한다. 이 논문은 MapReduce 기반 대규모 서브그래프 카운팅 연구에 중요한 이정표를 세우며, 실용적인 구현과 공개된 코드베이스를 통해 재현 가능성을 높였다.