동적 파라미터 할당으로 구현한 고성능 파라미터 서버 Lapse

초록

본 논문은 기존 파라미터 서버가 제공하는 정적 파라미터 할당과 제한된 지역성 지원을 극복하기 위해 동적 파라미터 할당(DPA)을 도입한다. DPA를 기반으로 설계된 Lapse는 파라미터 접근 지역성을 높이는 데이터 클러스터링, 파라미터 블로킹, 레이턴시 히딩 기법을 서버 수준에서 투명하게 지원한다. 실험 결과 Lapse는 지식 그래프 임베딩, 행렬 분해, 워드 임베딩 등 다양한 작업에서 기존 파라미터 서버 대비 거의 선형에 가까운 확장성을 보이며, 최고 2 order magnitude의 속도 향상을 달성한다.

상세 분석

이 논문은 분산 머신러닝에서 파라미터 서버(Parameter Server, PS)의 통신 병목을 근본적으로 해소하고자 ‘동적 파라미터 할당(Dynamic Parameter Allocation, DPA)’이라는 개념을 제시한다. 기존 PS는 파라미터를 해시 혹은 범위 기반으로 정적으로 할당하고, 복제·스태일스(일시적 지연) 기법을 제외하면 파라미터 위치 제어가 불가능했다. 이러한 구조는 데이터 클러스터링, 파라미터 블로킹, 레이턴시 히딩 등 지역성(PAL) 기법을 적용하려면 애플리케이션 레벨에서 복잡한 키 설계와 수동 복제 관리가 필요해 실용성이 떨어졌다. Lapse는 서버와 워커 스레드를 동일 프로세스에 배치하고, 파라미터를 접근 시점에 워커가 소유하도록 동적으로 이동시킨다. 이를 위해 (1) 빠른 로컬 접근을 위한 공유 메모리 기반 캐시, (2) 파라미터 위치 제어 API, (3) 런타임 중 파라미터 재배치를 지원하는 일관성 프로토콜을 구현한다. 일관성은 순차 일관성(sequential consistency)을 유지하면서, 파라미터 이동 전후에 동일한 pull/push 인터페이스를 제공한다. 실험에서는 RESCAL 기반 지식 그래프 임베딩, ALS 행렬 분해, Word2Vec 스타일 워드 임베딩에 PAL 기법을 적용했으며, Lapse는 8노드·4스레드 구성에서 기존 PS‑Lite 대비 4.5배, Petuum(스태일스) 대비 2배 이상의 속도 향상을 기록했다. 특히 파라미터 블로킹을 사용할 때는 서브에폭 간 파라미터 복제 없이 워커 간 직접 이동이 가능해 통신량을 크게 감소시켰다. 논문은 DPA가 PAL 기법을 서버 수준에서 투명하게 지원함으로써, 개발자는 저수준 통신 관리 없이도 높은 확장성을 얻을 수 있음을 증명한다.