대규모 분산 메모리 환경에서의 효율적인 희소 행렬 곱셈 및 인덱싱 구현

초록

본 논문은 2차원 블록 분산과 하이퍼스파스 DCSC 형식을 이용한 병렬 SpGEMM 알고리즘을 제시하고, 이를 기반으로 일반적인 희소 행렬 인덱싱(SpRef) 및 할당(SpAsgn) 연산을 구현한다. 실험 결과, 수천 개 프로세서까지 거의 선형에 가까운 확장성을 보이며 메모리 효율도 뛰어나다는 것을 입증한다.

상세 분석

이 연구는 희소 행렬‑희소 행렬 곱셈(SpGEMM)이 그래프 알고리즘과 대규모 선형 해석에서 핵심 역할을 한다는 점에 착안한다. 기존 1차원 분산 방식은 통신량이 O(nnz) 수준으로 제한적 확장성만을 제공했으며, 로컬 서브매트릭스가 고밀도 CSC/CSR 형식으로 저장될 경우 메모리 오버헤드가 급증한다. 저자들은 이러한 문제를 해결하기 위해 두 가지 핵심 아이디어를 도입한다. 첫째, 프로세서를 p_r × p_c 형태의 2차원 격자로 배치하고, 각 프로세서가 담당하는 서브매트릭스를 “하이퍼스파스”라 정의한다. 여기서 하이퍼스파스란 비어 있는 행·열이 대부분인 상황을 의미하며, 전통적인 CSC/CSR보다 열 포인터 배열에 중복을 허용하지 않는 DCSC(Double‑Compressed Sparse Column) 구조를 사용한다. DCSC는 열 인덱스와 비어 있지 않은 열만을 저장함으로써 메모리 사용량을 O(nnz) 수준으로 유지한다. 둘째, Sparse SUMMA 알고리즘을 기반으로 한 2차원 블록 스케줄링을 적용한다. 블록 크기 b는 k/p_r·k/p_c의 최대공약수로 조정 가능하며, 각 단계에서 행·열 블록을 해당 행·열 프로세서 라인에 브로드캐스트한 뒤, 로컬에서 HyperSparseGEMM(우선순위 큐 기반 외적 결합)으로 곱셈을 수행한다. 이때 통신 비용은 T_comm = Θ(α√p + β d n √p)이며, 계산 비용은 T_comp = O(d n √p + d² n p log(d² n p)) 형태로, p가 증가함에 따라 √p 스케일링이 지배적이지만 β·d·n/√p 항이 점차 감소해 무한한 프로세서 수에서도 속도 향상이 가능함을 보인다.

SpRef(희소 행렬 인덱싱) 구현은 두 번의 SpGEMM을 이용한다. 먼저 인덱스 벡터 I와 J를 각각 행·열 선택 행렬 R_I, C_J(부울 매트릭스)로 변환하고, A에 대해 R_I·A·C_J를 수행하면 원하는 서브매트릭스 B가 생성된다. 이 접근법은 기존 특수 목적 인덱싱 루틴을 대체하면서도 동일한 복잡도 분석을 적용할 수 있다. 또한 SpAsgn(희소 행렬 할당)은 A(I,J)=B 연산을 R_I·B·C_J 형태로 재구성하고, 기존 A의 해당 영역을 제거한 뒤 결과를 합치는 방식으로 구현한다.

실험에서는 NERSC의 Cray XT4와 IBM Blue Gene/P 등 다양한 대형 클러스터에서 1K4K 프로세서까지 테스트하였다. SpGEMM은 평균 70% 이상의 효율을 유지했으며, SpRef와 SpAsgn 역시 2차원 분산이 1차원 대비 3배 이상 빠른 성능을 보였다. 메모리 사용량은 DCSC 덕분에 전체 nnz와 비례 수준에 머물렀고, 트리플릿 형태의 인덱싱에서도 중복 데이터 전송이 최소화되었다. 비교 대상인 Trilinos 패키지의 구현과 비교했을 때, 특히 비정형 그래프(예: 사회 네트워크)에서 25배의 속도 향상을 기록했다.

결론적으로, 이 논문은 하이퍼스파스 데이터 구조와 2차원 블록 스케줄링을 결합한 SpGEMM이 일반적인 희소 행렬 연산(인덱싱·할당)까지 확장 가능함을 증명한다. 이는 대규모 그래프 처리, 알지브라적 멀티그리드, 그리고 동적 스트리밍 업데이트와 같은 응용 분야에서 중요한 기반 기술이 될 것으로 기대된다.