분산 진화형 그래프 분할기 KaFFPaE의 혁신적 접근

초록

본 논문은 KaFFPa 기반의 다중 레벨 그래프 분할기를 활용한 분산 진화 알고리즘 KaFFPaE를 제안한다. 새로운 교차·돌연변이 연산자를 도입하고 확장 가능한 통신 프로토콜을 결합해, Walshaw 벤치마크에서 1 %, 3 %, 5 % 불균형 허용 조건 하에 기존 최고 기록의 76 %를 개선하거나 재현하였다.

상세 분석

KaFFPaE는 기존의 KaFFPa(Karlsruhe Fast Flow Partitioner) 멀티레벨 분할기의 강점을 진화적 프레임워크에 통합한 것이 핵심이다. KaFFPa는 흐름 기반의 지역 최적화와 코어-레벨 병렬화를 통해 높은 품질의 파티션을 빠르게 생성한다. 이를 진화 연산자에 직접 연결함으로써, 교차 연산자는 두 부모 파티션의 흐름 네트워크를 병합한 뒤 KaFFPa의 라벨 전파와 라우팅을 적용해 자식 파티션을 생성한다. 이 과정은 기존의 단순한 라벨 교환 방식보다 훨씬 풍부한 탐색 공간을 제공한다. 돌연변이 연산자는 선택된 파티션에 대해 부분 그래프를 재분할하거나, 임계값을 조정한 새로운 균형 제약을 부여해 다변량 탐색을 촉진한다.

통신 프로토콜은 비동기 메시지 교환과 파이프라인 방식을 채택해, 각 프로세스가 독립적으로 파티션을 생성·평가하고, 품질이 우수한 파티션을 전역 풀에 공유한다. 이때 파티션 메타데이터(경계 가중치, 균형 비율 등)만 전송함으로써 네트워크 부하를 최소화하고, 스케일아웃 시에도 거의 선형적인 속도 향상을 달성한다.

실험에서는 다양한 크기와 밀도의 실세계 및 합성 그래프(수십만수백만 정점)를 대상으로, 8256개의 프로세스 환경에서 성능을 평가하였다. 결과는 두드러진 두 가지 측면에서 나타난다. 첫째, 동일한 시간 제한(예: 30분) 내에서 KaFFPaE는 기존 단일 머신 KaFFPa보다 평균 12 %~18 % 낮은 컷값을 기록했다. 둘째, Walshaw의 표준 벤치마크(1 %, 3 %, 5 % 불균형)에서 76 % 이상의 엔트리를 개선하거나 기존 최고 기록을 재현했으며, 특히 고밀도 메쉬와 사회 네트워크 그래프에서 큰 폭의 개선을 보였다.

알고리즘 복잡도 측면에서, KaFFPaE의 각 세대는 O(|E| log |V|) 수준의 멀티레벨 분할 비용에, 교차·돌연변이 연산에 필요한 추가 비용을 더한다. 그러나 병렬화와 비동기 통신 덕분에 실제 실행 시간은 선형에 가깝게 증가한다. 또한, 파티션 품질이 수렴하는 속도가 빠른 편이며, 초기 무작위 파티션에서도 빠르게 고품질 솔루션으로 수렴한다는 점이 실험적으로 확인되었다.

이 논문은 그래프 분할 분야에서 진화적 메타휴리스틱과 고성능 멀티레벨 분할기의 결합이 실용적인 수준의 품질 향상을 가져올 수 있음을 증명한다. 특히, 대규모 분산 환경에서의 효율적인 통신 설계와 연산자 설계가 향후 클라우드·슈퍼컴퓨팅 기반 그래프 분석 시스템에 적용 가능성을 크게 확대한다.