소형 클러스터에서 외부 메모리 기반 대규모 소셜 네트워크 생성

초록

본 논문은 제한된 메인 메모리를 가진 소규모 클러스터에서도 외부 메모리를 활용해 수십억 노드 규모의 그래프를 효율적으로 생성하는 방법을 제시한다. MPI와 pthread를 결합한 분산‑외부 메모리 알고리즘(섞기, 레이블 재배정, 재분배, CSR 변환)을 설계·구현하여, 64대 노드로 2^38(≈274 억) 노드 그래프를 생성할 수 있음을 실험적으로 입증한다. 기존 방식이 요구하는 수천 대의 노드 대비 메모리·I/O 효율성을 크게 향상시킨다.

상세 분석

이 연구는 대규모 그래프 생성 시 가장 큰 제약인 메인 메모리 용량을 외부 저장장치(SSD·HDD)와 결합해 극복한다는 점에서 혁신적이다. 핵심은 네 단계의 파이프라인을 MPI 기반 프로세스와 각 프로세스 내부의 pthread 스레드가 협업하도록 설계한 것이다. 첫 번째 단계인 shuffle에서는 무작위 엣지 리스트를 생성하기 위해 각 프로세스가 로컬 RNG를 사용해 블록 단위로 데이터를 생성하고, 이를 외부 파일에 순차적으로 기록한다. 이때 파일 시스템의 순차 쓰기 특성을 최대한 활용해 랜덤 I/O를 최소화한다. 두 번째 단계 relabel는 생성된 엣지의 소스·타깃 번호를 실제 노드 ID에 매핑하는 과정이다. 기존 RMAT 기반 생성기는 전체 엣지를 메모리에 보관한 뒤 한 번에 레이블링하지만, 여기서는 외부 메모리 정렬과 멀티스레드 병합을 통해 블록 단위로 레이블을 적용한다. 레이블링 후에는 redistribute 단계에서 각 엣지를 담당 프로세스에 재분배한다. 이때 해시 함수를 이용해 목표 프로세스를 결정하고, 각 프로세스는 자신에게 할당된 블록을 순차적으로 읽어 네트워크 전송 버퍼에 적재한다. 중요한 점은 네트워크 전송과 디스크 I/O를 겹쳐 파이프라인화함으로써 전체 실행 시간을 크게 단축한다는 것이다. 마지막 CSR 변환 단계에서는 재분배된 엣지를 압축 희소 행렬(CSR) 형태로 변환한다. 여기서는 각 프로세스가 로컬 메모리에서 인접 리스트를 구축하고, 외부 메모리 버퍼에 순차적으로 기록한다. CSR 변환은 그래프 알고리즘의 입력 형식으로 널리 사용되므로, 이 단계의 효율성은 후속 분석 파이프라인 전체에 영향을 미친다.

알고리즘 설계 시 고려된 주요 최적화는 다음과 같다. (1) I/O 패턴 최소화: 모든 단계에서 가능한 한 순차 I/O를 유지하고, 랜덤 접근을 블록 단위 정렬로 대체한다. (2) 통신-연산 겹침: MPI 비동기 전송과 pthread 기반 로컬 연산을 동시에 수행해 네트워크 대기 시간을 숨긴다. (3) 메모리 사용량 제한: 각 프로세스는 최대 8 GB 이하의 RAM만 사용하도록 설계했으며, 이는 64 GB 메모리를 가진 64대 노드에서도 충분히 적용 가능하다. (4) 확장성: 실험 결과는 노드 수를 8배 늘려도 실행 시간은 거의 선형적으로 증가함을 보여, 대규모 클러스터에서도 동일한 알고리즘을 적용할 수 있음을 시사한다.

비교 대상인 기존 Graph500 RMAT 생성기는 전체 엣지를 메모리에 적재하고, 이후 레이블링·분산 과정을 수행한다. 메모리 요구량이 O(N·log N) 수준으로 급격히 증가해, 2^38 규모에서는 최소 8192대 노드(각 64 GB 메모리)가 필요하다. 반면 본 논문의 방법은 외부 메모리와 효율적인 파이프라인을 활용해 동일 규모를 64대 노드로 달성한다. 이는 비용·전력 효율성 측면에서 큰 장점을 제공한다. 또한 SSD 기반 슈퍼컴퓨터(Dash, Gordon)와 같은 환경에서도 STXXL과 연동해 직접적인 라이브러리 구현이 가능하므로, 향후 그래프 처리 프레임워크에 바로 통합될 수 있다.