대규모 바라바시 알버트 그래프 빠른 생성 방법

초록

이 논문은 바라바시‑알버트 모델에 기반한 스케일‑프리 그래프를 수천억 개의 노드와 페타엣지 규모까지도 단시간에 생성할 수 있는 완전 병렬 알고리즘을 제안한다. 핵심 아이디어는 기존 순차 알고리즘의 메모리 접근을 해시 기반 의사난수 생성으로 대체해 각 엣지를 독립적으로 계산하도록 하는 것이다. 실험 결과, 16 384 코어 슈퍼컴퓨터에서 10¹³ 노드·10¹⁵ 엣지 그래프를 1시간 이내에 생성했으며, 기존 방법 대비 수십 배의 속도 향상을 보였다.

상세 분석

본 논문은 바라바시‑알버트(Barabási‑Albert) 모델의 핵심인 선호 연결을 유지하면서도, 전통적인 순차적 구현이 갖는 병목을 완전히 해소하는 새로운 병렬 생성 기법을 제시한다. 기존 Batagelj‑Brandes 알고리즘은 현재까지 생성된 엣지 배열 E에 직접 접근해 새로운 엣지의 한쪽 끝을 선택하는 방식으로, 메모리 접근 비용이 크게 작용한다. 저자들은 “엣지를 균등하게 샘플링하면 선호 연결 확률을 그대로 재현한다”는 관찰을 바탕으로, E의 특정 위치 값을 재계산하는 방식으로 의존성을 제거한다. 구체적으로, 엣지 i의 두 끝점은 (b_i/d, b_r/d) 형태로 표현되며, r은 해시 함수 h(r) 를 반복 적용해 짝수 인덱스가 될 때까지 변환한다. 이 과정은 완전 결정적이며, 사용된 해시 함수는 입력 인덱스를 의사난수로 매핑해 동일한 그래프가 프로세서 수와 무관하게 재현될 수 있게 한다.

알고리즘의 기대 메모리 접근 횟수는 평균 2번으로, 기존 방법 대비 약 절반 수준이며, 랜덤 수 생성량은 두 배 정도 증가한다. 하지만 메모리 대역폭이 제한적인 대규모 시스템에서는 이 트레이드오프가 전체 실행 시간을 크게 단축시킨다. 또한, 해시 기반 난수 생성은 병렬 환경에서 재현성을 보장하므로, 동일한 입력 파라미터에 대해 언제든 동일한 그래프를 얻을 수 있다.

확장성 측면에서 저자들은 동적 로드 밸런싱과 배치 기반 엣지 ID 할당을 통해 이질적인 클라우드 자원에서도 효율적으로 동작하도록 설계했다. 시드 그래프, 자기 루프, 다중 엣지와 같은 일반적인 제약도 해시 초기값 조정이나 해시 결과 필터링으로 간단히 처리할 수 있다. 개별 노드마다 다른 차수를 부여하는 경우에도, 각 노드의 차수 로그값을 해시에 포함시켜 O(1) 시간에 목표 노드를 결정한다.

실험에서는 10¹³ 노드·100 n 엣지(즉 10¹⁵ 엣지) 규모의 그래프를 16 384 코어 Sup erMUC 슈퍼컴퓨터에서 154초 만에 스트리밍 방식으로 생성했으며, 이는 기존 RMA‑T 생성기보다 16배, Alam 등(2013) 보고된 768 코어 구현보다 36배 빠른 결과다. 또한, 64비트 정수 대신 32비트 정수를 사용하면 실행 시간이 65% 절감되는 등 구현 최적화 여지도 제시한다.

이와 같이 본 논문은 메모리 접근 최소화, 완전 병렬성, 재현성 보장을 핵심으로 하는 스케일‑프리 그래프 생성 프레임워크를 제공하며, 빅데이터 그래프 분석, 네트워크 시뮬레이션, 그래프 기반 머신러닝 등 다양한 대규모 그래프 응용 분야에 즉시 활용 가능하도록 한다.