분산 엣지 파티셔닝 기반 그래프 처리 프레임워크

초록

본 논문은 그래프를 정점이 아닌 엣지 단위로 분할하는 새로운 접근법을 제시한다. 엣지 파티셔닝을 기반으로 한 ETSCH 프레임워크와, 자금(Funding) 개념을 이용해 균형 잡힌 파티션을 생성하는 분산 알고리즘 d‑fep을 설계·평가한다. 실험 결과 d‑fep이 확장성·효율성 면에서 우수함을 확인하였다.

상세 분석

이 논문은 기존 정점 기반 파티셔닝이 메모리 불균형과 높은 통신 비용을 초래한다는 한계를 지적하고, 엣지를 기준으로 파티션을 나누는 방법을 제안한다. 엣지 파티셔닝은 각 파티션이 소유하는 엣지 수와 연관된 정점 집합을 자동으로 포함하므로, 파티션 크기가 엣지 수에 비례해 메모리 사용량을 예측하기 쉽다. 특히, 프론티어 정점(여러 파티션에 복제되는 정점)의 개수를 최소화하면 파티션 간 통신량을 크게 줄일 수 있다.

ETSCH 프레임워크는 초기화, 로컬 연산, 집계의 세 단계로 구성된다. 각 워커는 자신이 담당하는 엣지 파티션에 대해 순차 알고리즘을 독립적으로 실행하고, 프론티어 정점에 대해서는 모든 복제본의 상태를 수집·통합한 뒤 동기화한다. 이를 통해 최단 경로, 연결 요소 등 전통적인 정점 중심 알고리즘을 엣지 중심으로 변환할 수 있다.

핵심 알고리즘인 d‑fep은 “자금”이라는 추상적 자원을 각 파티션에 할당하고, 라운드마다 인접 엣지를 구매하도록 설계되었다. 초기에는 무작위 정점에 동일 자금을 배정하고, 각 라운드에서 파티션은 자신이 보유한 자금을 인접 엣지에 균등히 분배한다. 가장 많은 자금을 제시한 파티션이 엣지를 획득하고 1 단위의 자금을 차감한다. 라운드 종료 시 코디네이터는 파티션 크기에 따라 추가 자금을 재분배해 작은 파티션이 성장할 기회를 제공한다. 이 메커니즘은 파티션 크기의 균형을 자연스럽게 유지하면서도 프론티어 정점 수를 최소화한다.

실험은 시뮬레이션과 Amazon EC2 기반 Hadoop 구현을 통해 수행되었다. 다양한 실세계 그래프(소셜 네트워크, 웹 그래프, 생물학적 네트워크)와 합성 그래프에 대해 d‑fep은 평균 파티션 크기 편차를 5 % 이하로 유지했으며, 프론티어 정점 비율도 기존 정점 파티셔닝 대비 30 % 이상 감소하였다. 또한, ETSCH 위에 구현한 최단 경로와 연결 요소 알고리즘은 동일 데이터셋에 대해 정점 파티셔닝 기반 시스템보다 1.8배~2.5배 빠른 실행 시간을 기록했다. 확장성 테스트에서는 파티션 수를 2배 늘려도 라운드 수와 전체 실행 시간이 거의 선형적으로 증가하는 모습을 보여, 대규모 클러스터 환경에서도 적용 가능함을 입증했다.

이 논문은 엣지 파티셔닝이 그래프 처리의 새로운 패러다임이 될 수 있음을 실증하고, d‑fep과 ETSCH이라는 구체적인 구현을 통해 이론적 아이디어를 실용적인 시스템으로 전환하는 과정을 상세히 제시한다.