대규모 그래프 병렬 순서를 위한 PT‑Scotch

초록

PT‑Scotch는 고품질의 그래프 순서를 병렬 환경에서 생성하는 도구이다. 기존 최소 차수와 중첩 절단(Nested Dissection) 기법의 병렬화 어려움을 극복하기 위해, 다단계 병렬 이분법과 새로운 코어싱·정제 전략을 도입하였다. 실험 결과, 대규모 그래프에서 ParMeTiS보다 일관되게 우수한 순서 품질을 유지하면서도 높은 스케일러빌리티를 보였다.

상세 분석

본 논문은 대규모 그래프 순서화 문제의 두 가지 근본적인 난관을 정확히 짚어낸다. 첫째, 최소 차수(Minimum Degree) 기반 순서화는 전역적인 정점 차수 정보를 필요로 하여 병렬화가 거의 불가능에 가깝다. 둘째, 중첩 절단(Nested Dissection) 방식은 고품질 순서를 얻기 위해 효율적인 그래프 이분법(bipartitioning) 알고리즘에 의존한다. 기존의 최첨단 순차 이분법(예: multilevel FM, KL)은 복잡한 코어싱·정제 과정을 포함하고 있어 다수의 프로세서에 분산시키기 어렵다. PT‑Scotch는 이러한 한계를 극복하기 위해 다음과 같은 혁신을 제시한다.

1. 병렬 다단계 코어싱: 그래프를 여러 단계로 점진적으로 축소하면서, 각 단계에서 로컬 코어를 담당하는 프로세스 그룹이 독립적으로 작업한다. 코어싱 단계에서는 정점의 가중치를 고려한 균형 잡힌 매핑을 수행해, 이후 정제 단계에서 발생할 수 있는 부하 불균형을 최소화한다.

2. 분산 정제(Refinement) 전략: 전통적인 FM 정제는 전역적인 이동 비용을 계산해야 하지만, PT‑Scotch는 영역별 경계 정점을 중심으로 제한된 이동 후보 집합을 구성한다. 이를 위해 각 프로세스는 인접 프로세스와 경계 정보를 비동기적으로 교환하며, 이동 결정은 로컬 비용 감소에 기반한다. 이렇게 하면 통신 오버헤드를 크게 낮추면서도 정제 효과를 유지한다.

3. 동적 로드 밸런싱: 코어싱·정제 과정에서 정점 수가 급격히 변할 경우, PT‑Scotch는 가벼운 재분배 메커니즘을 통해 작업량을 재조정한다. 이때 사용되는 히스토그램 기반 파티셔닝은 O(log P) 복잡도로 수행돼, 대규모 프로세서 수에서도 확장성을 보장한다.

4. 데이터 구조 최적화: 그래프를 CSR(Compressed Sparse Row) 형식으로 저장하면서, 각 프로세스는 로컬 정점과 원격 정점의 인덱스를 별도로 관리한다. 원격 정점에 대한 접근은 일괄 버퍼링을 통해 한 번에 전송함으로써, 메시지 수를 최소화한다. 또한, 정렬된 인접 리스트를 활용해 경계 정점 탐색을 O(1)에 가깝게 수행한다.

실험에서는 10 K에서 100 M 정점 규모의 다양한 실세계 및 합성 그래프에 대해, 64 ~ 1024 프로세서 환경에서 PT‑Scotch와 ParMeTiS를 비교하였다. 결과는 다음과 같다. 순서 품질(예: fill‑in, operation count)에서는 PT‑Scotch가 평균 5 % 정도 우수했으며, 특히 고밀도 그래프에서 그 차이가 두드러졌다. 실행 시간 측면에서는 코어싱 단계에서 거의 선형 확장성을 보였고, 정제 단계에서도 통신 비용이 제한적이어서 512 프로세서 이상에서도 효율이 유지되었다. 이러한 성과는 PT‑Scotch가 기존 순차 알고리즘에 근접한 품질을 유지하면서도, 대규모 병렬 환경에서 실용적인 성능을 제공한다는 점을 입증한다.