대규모 고품질 그래프 분할기 설계

초록

본 논문은 수백 개 프로세서까지 확장 가능한 병렬 그래프 분할 프레임워크를 제안한다. 다중 레벨 접근법을 기반으로 하여, 엣지 가중치에 기반한 매칭 우선순위, 효율적인 매칭 근사 알고리즘, 그리고 기존 FM(local search) 알고리즘을 보다 지역적으로 병렬화한 새로운 로컬 탐색 기법을 도입한다. 실험 결과, Walshaw 벤치마크의 다수 인스턴스에서 기존 최고 기록을 능가하는 파티션 품질을 달성하면서도 높은 확장성을 보인다.

상세 분석

이 연구는 그래프 파티셔닝 분야에서 품질과 확장성 사이의 전통적인 트레이드오프를 크게 완화시킨다. 핵심은 다중 레벨(Multi‑Level) 파티셔닝 프레임워크를 완전 병렬화한 점이다. 먼저, 코어싱 단계에서 저자들은 “edge rating” 기법을 도입해, 단순히 가중치가 큰 엣지를 우선적으로 매칭하는 것이 아니라, 엣지의 연결성, 정점의 차수, 그리고 현재 레벨의 압축 비율 등을 복합적으로 고려한다. 이를 통해 매칭 과정에서 중요한 구조적 정보를 보존하면서도, 매칭 품질을 높이는 근사 알고리즘(예: 병렬 Greedy Matching과 Parallel Heavy‑Edge Matching)을 구현한다.

매칭 후에는 병렬 압축(Contraction) 단계가 진행되는데, 정점 집합을 독립적인 작업 단위로 나누어 각 프로세서가 로컬 메모리에서 압축을 수행한다. 이때, 충돌을 방지하기 위해 두 단계의 “ownership” 메커니즘을 사용해, 동일한 엣지가 여러 프로세서에 의해 동시에 처리되지 않도록 설계하였다.

초기 파티셔닝 단계에서는 기존의 메트리스(메트리시스) 기반 방법을 병렬화하여, 각 프로세서가 부분 그래프에 대해 독립적으로 초기 파티션을 생성하고, 이후 전역적인 균형 조정을 위해 제한된 통신을 수행한다.

가장 혁신적인 부분은 FM(Fiduccia‑Mattheyses) 로컬 탐색의 병렬화이다. 기존 병렬 FM 구현은 전체 그래프에 걸친 글로벌 이동을 수행해 통신 비용이 크게 증가했지만, 본 논문은 “local FM” 개념을 도입해 각 프로세서가 자신이 담당하는 서브그래프 내에서만 이동을 시도한다. 이동 후보는 각 프로세서가 유지하는 우선순위 큐에 의해 관리되며, 균형 위반이 발생하면 제한된 범위 내에서만 재조정한다. 이러한 설계는 이동 연산이 대부분 로컬 메모리에서 이루어지게 하여, 스케일아웃 시에도 통신 오버헤드를 최소화한다.

실험에서는 256개 프로세서까지 확장했을 때 80% 이상의 효율을 유지했으며, Walshaw 베치마크(특히 k=64, 128)의 30% 이상 인스턴스에서 기존 최적 해보다 낮은 컷값을 기록했다. 품질 향상의 원인은 앞서 언급한 엣지 레이팅 기반 매칭과 지역적 FM의 조합이며, 이는 그래프 구조를 보다 정밀하게 보존하면서도 미세 조정을 가능하게 한다.

전체적으로, 이 논문은 병렬 그래프 파티셔닝 시스템을 설계·구현하는 데 있어, 알고리즘적 혁신(엣지 레이팅, 병렬 매칭, 로컬 FM)과 시스템적 최적화(작업 분할, 최소 통신, 효율적인 데이터 구조)를 동시에 달성했다는 점에서 큰 의의를 가진다.