그래프랩 새로운 병렬 머신러닝 프레임워크

초록

그래프랩은 머신러닝에서 흔히 나타나는 비동기적 반복 연산과 희소한 의존성을 효율적으로 표현하도록 설계된 고수준 병렬 프로그래밍 모델이다. 기존 MapReduce와 달리 데이터 일관성을 보장하면서도 사용자에게 직관적인 그래프 기반 API를 제공한다. 논문에서는 Belief Propagation, Gibbs Sampling, Co‑EM, Lasso, Compressed Sensing 등 다섯 가지 알고리즘을 그래프랩으로 구현하고, 실제 대규모 데이터셋에서 높은 스케일링 효율을 입증한다.

상세 분석

그래프랩은 머신러닝 알고리즘이 공유하는 세 가지 핵심 특성을 추출한다. 첫째, 연산은 보통 데이터 포인트(노드)와 그 이웃(엣지) 사이의 국소적인 의존성을 가진다. 둘째, 대부분의 알고리즘은 반복적인 업데이트를 수행하며, 이때 최신값을 즉시 사용해 비동기적으로 수렴한다. 셋째, 데이터 구조가 매우 희소하기 때문에 전체 데이터를 복제하거나 전역 동기화를 수행하면 메모리와 통신 비용이 급증한다. 이러한 특성을 반영해 그래프랩은 데이터 그래프와 업데이트 함수를 명시적으로 정의하도록 한다. 데이터 그래프는 정점과 간선에 저장된 상태를 나타내며, 업데이트 함수는 특정 정점이나 간선을 선택해 실행된다.

데이터 일관성 모델은 세 단계로 구분된다. 전역 일관성은 모든 업데이트가 순차적으로 적용되는 가장 강력한 모델이며, 구현이 복잡하고 성능이 제한된다. 엣지 일관성은 동시에 업데이트되는 두 정점이 공유하는 간선에만 제한을 두어, 인접 정점 간 충돌을 방지한다. 정점 일관성은 같은 정점에 대한 동시 업데이트만을 금지하고, 인접 정점 간은 자유롭게 진행한다. 이 계층 구조는 알고리즘마다 필요한 일관성 수준을 선택하게 함으로써 성능과 정확성 사이의 트레이드오프를 최적화한다.

스케줄러는 두 가지 모드로 동작한다. 동기식 모드는 모든 작업이 라운드마다 완료될 때까지 기다리며, 기존 BSP 모델과 유사하지만 그래프랩은 라운드 내부에서 비동기적 실행을 허용한다. 비동기식 모드는 작업을 자유롭게 큐에 넣어 실행하므로, 최신 업데이트가 즉시 반영되어 수렴 속도가 크게 향상된다. 또한, 그래프랩은 우선순위 기반 스케줄링을 지원해, 변화가 큰 정점이나 높은 잔차를 가진 부분을 먼저 처리하도록 할 수 있다.

구현 측면에서 그래프랩은 C++ 기반의 코어와 파이썬 바인딩을 제공한다. 데이터 그래프는 메모리 효율적인 CSR(Compressed Sparse Row) 형식으로 저장되며, 업데이트 함수는 사용자 정의 람다식이나 함수 객체로 구현한다. 내부적으로는 락-프리 원자 연산과 세분화된 락(정점 수준, 엣지 수준)을 조합해 경쟁을 최소화한다. 또한, 분산 환경에서는 파티셔닝 전략을 통해 그래프를 여러 머신에 나누어 저장하고, 메시지 패싱을 최소화하도록 설계되었다.

실험 결과는 그래프랩이 기존 MapReduce 기반 구현에 비해 10배 이상 가속화되고, MPI 기반 직접 구현과 비교해 개발 생산성은 크게 향상되면서도 비슷한 수준의 성능을 달성함을 보여준다. 특히, 비동기식 업데이트와 정점 일관성 모델을 활용한 Lasso와 Compressed Sensing 구현에서 높은 스케일링 효율을 기록했다. 이러한 결과는 그래프랩이 복잡한 ML 알고리즘을 손쉽게 병렬화하고, 실용적인 대규모 데이터 처리에 적합한 프레임워크임을 입증한다.