키 분포 기반 MapReduce 작업 부하 균형 향상

초록

본 논문은 MapReduce에서 개별 Map·Reduce 연산 단위의 부하를 키 분포 정보를 활용해 정밀하게 스케줄링하는 방법을 제안한다. 부하가 크게 편중되는 현상을 완화하기 위해 Balanced Subset Sum(BSS) 문제를 정의하고, 정확 알고리즘과 근사 알고리즘을 설계하였다. 통계 수집 메커니즘과 Reduce 파이프라인을 도입해 투명히 적용했으며, PUMA 벤치마크 실험에서 작업 시간 최대 37% 단축을 입증하였다.

상세 분석

이 연구는 MapReduce 시스템에서 전통적으로 수행되는 coarse‑grained 스케줄링이 작업 단계별 부하 편차를 충분히 해소하지 못한다는 점에 주목한다. 특히, 하나의 Map 혹은 Reduce 연산이 생성·소비하는 중간 키‑값 쌍의 양이 키에 따라 크게 달라지는 경우, 동일한 작업 슬롯에 할당된 연산들의 실행 시간이 크게 차이 나게 된다. 이러한 현상을 해결하기 위해 저자들은 “연산”을 가장 작은 스케줄링 단위로 보고, 각 연산이 처리할 키 집합의 크기(또는 예상 처리량)를 사전 통계로 수집한다. 핵심 아이디어는 수집된 키 분포 정보를 바탕으로 작업 슬롯에 할당할 연산들의 집합을 선택할 때, 각 슬롯에 할당되는 총 부하가 가능한 한 균등하도록 하는 것이다. 이를 수학적으로 모델링하면, 주어진 연산 집합과 각 연산의 부하(키 개수)값을 이용해 “총 부하가 목표값에 가장 가깝게 맞춰지는” 부분집합을 찾는 Balanced Subset Sum(BSS) 문제로 귀결된다.

BSS 문제는 일반적인 Subset Sum 문제와 유사하지만, 여기서는 여러 작업 슬롯(즉, 다중 목표값) 사이에 부하를 균등하게 분배해야 하므로 복잡도가 급격히 상승한다. 저자들은 BSS의 NP‑hard 특성을 증명하고, 두 가지 해결책을 제시한다. 첫 번째는 동적 프로그래밍 기반의 정확 알고리즘으로, 연산 수와 부하 범위가 작을 때 실용적이다. 두 번째는 근사 알고리즘으로, 부하를 정수 구간으로 양자화하고 그리디 방식으로 슬롯에 할당함으로써 다항 시간 내에 허용 오차(ε) 이내의 해를 제공한다. 근사 알고리즘은 이론적 근사 비율을 분석하고, 실험을 통해 실제 부하 편차 감소 효과를 확인하였다.

통계 수집 메커니즘은 Map 단계에서 각 Mapper가 생성한 키‑값 쌍의 키 빈도를 로컬에서 집계한 뒤, 특수 메타데이터 채널을 통해 중앙 스케줄러에 전달한다. 이 과정은 기존 Hadoop 파이프라인에 최소한의 오버헤드만 추가하도록 설계되었으며, Reduce 단계에서는 파이프라인화된 작업 슬롯을 이용해 연산이 끝난 뒤 바로 다음 연산을 시작하도록 함으로써 CPU·메모리 활용률을 높였다.

실험은 PUMA 벤치마크(다양한 데이터 스키마와 작업 유형을 포함)에서 수행되었으며, 제안된 BSS 기반 스케줄러를 적용한 경우 평균 작업 시간 감소율이 22%였고, 최악의 경우 37%까지 개선되었다. 특히, 키 분포가 극도로 불균형한 워크로드에서 기존 Hadoop의 단순 라운드 로빈 방식보다 훨씬 높은 부하 균형을 달성했다. 또한, 통계 수집 및 파이프라인 오버헤드가 전체 실행 시간의 5% 이하에 불과함을 확인하여, 제안 기법이 실용적인 비용으로 성능을 향상시킨다는 점을 입증하였다.

이 논문은 MapReduce 시스템에서 미세 단위 연산 스케줄링을 가능하게 하는 첫 시도이며, BSS 문제 정의와 알고리즘 설계는 향후 다른 분산 데이터 처리 프레임워크에도 적용 가능성을 시사한다. 다만, 통계 정확도와 동적 워크로드 변화에 대한 적응성, 그리고 대규모 클러스터에서의 스케줄러 확장성 등에 대한 추가 연구가 필요하다.