GPU용 새로운 행그룹 CSR 형식

초록

본 논문은 GPU 연산에 최적화된 새로운 희소 행렬 저장 방식인 Row‑grouped CSR(RG‑CSR)을 제안하고, CUDA 구현을 통해 1,600여 개의 테스트 행렬에 대해 기존 Hybrid 형식과 성능을 비교한다. 실험 결과 RG‑CSR가 메모리 접근 패턴을 개선하여 특정 행렬군에서 최대 2.3배의 속도 향상을 보였다.

상세 분석

본 연구는 전통적인 CSR(Compressed Sparse Row) 형식이 GPU에서 비연속적인 메모리 접근과 스레드 발산으로 인한 성능 저하를 겪는 점을 출발점으로 삼았다. 이를 보완하기 위해 행을 일정 크기의 그룹으로 묶고, 각 그룹 내에서 비정렬된 열 인덱스를 연속적인 메모리 블록에 재배치하는 Row‑grouped CSR(RG‑CSR) 방식을 설계하였다. 핵심 아이디어는 동일한 워프(warp) 내의 스레드들이 동일한 행 그룹을 동시에 처리하도록 하여 메모리 coalescing을 극대화하고, 행 길이가 서로 다른 경우에도 워프 레벨에서 균등한 작업량을 유지하도록 하는 것이다.

구현 단계에서는 기존 CSR의 three‑array 구조(rowPtr, colIdx, values)를 변형하여, 각 행 그룹마다 별도의 rowPtrGroup 배열을 두고, 그룹 내부의 행 시작 위치를 기록한다. 또한, 열 인덱스와 값 배열을 그룹 단위로 재정렬함으로써 연속적인 메모리 접근을 보장한다. CUDA 커널은 32개의 스레드가 하나의 워프를 이루는 점을 활용해, 워프당 하나의 행 그룹을 할당하고, 스레드들은 그룹 내 행을 순차적으로 탐색한다. 이때, 스레드 간 동기화 비용을 최소화하기 위해 warp‑shuffle 연산을 이용해 부분 합을 계산하고, 결과를 전역 메모리에 기록한다.

성능 평가에서는 University of Florida Sparse Matrix Collection에서 추출한 1,600개의 다양한 구조(대칭, 비대칭, 대규모, 소규모, 비정형, 대각우세 등) 행렬을 대상으로 실험을 진행하였다. 비교 대상인 NVIDIA의 cuSPARSE Hybrid 형식은 ELLPACK과 COO를 혼합한 방식으로, 메모리 사용량이 적고 일정 수준의 벡터화 효율을 제공하지만, 행 길이 변동성이 큰 경우 비효율적인 패딩이 발생한다. 실험 결과, RG‑CSR는 평균적으로 1.42배의 처리 속도 향상을 보였으며, 특히 행 길이 분포가 넓고 비대칭적인 행렬에서 2배 이상 가속을 달성했다. 메모리 사용량 측면에서는 평균 8% 정도의 추가 오버헤드가 있었지만, 이는 캐시 친화적인 접근 패턴으로 인한 대역폭 절감으로 상쇄되었다. 또한, 스레드 발산률이 30% 이하로 감소했으며, 워프당 평균 실행 사이클이 15% 감소하는 효과도 확인되었다.

한계점으로는 행 그룹 크기를 고정값(예: 32행)으로 설정했을 때, 매우 작은 행렬이나 행 길이가 균일한 경우에는 기존 CSR나 Hybrid보다 오히려 성능이 저하될 수 있다는 점을 지적한다. 따라서 동적 그룹 크기 조정이나 자동 튜닝 메커니즘이 향후 연구 과제로 제시된다. 또한, 현재 구현은 단일 GPU 환경에 국한되어 있어 멀티‑GPU 확장성 검증이 필요하다.

결론적으로, RG‑CSR는 GPU 기반 희소 행렬-벡터 곱(SPMV) 연산에서 메모리 접근 효율성을 크게 개선하고, 다양한 행렬 구조에 대해 일관된 가속 효과를 제공한다는 점에서 실용적인 대안이 될 수 있다. 향후에는 행 그룹 내 재배열 알고리즘을 최적화하고, 다른 희소 연산(예: 행렬‑행렬 곱)에도 적용 가능성을 탐색할 계획이다.