가상 MapReduce 클러스터를 위한 하이브리드 작업 기반 스케줄링

초록

본 논문은 제한된 예산으로 다수의 VPS를 임대해 구성한 가상 MapReduce 클러스터에서, 작업 단위와 맵·리듀스 단계별 스케줄링을 동시에 수행하는 JoSS 방식을 제안한다. 작업을 규모와 유형에 따라 분류하고, 두 가지 변형인 JoSS‑T와 JoSS‑J를 통해 데이터 로컬리티와 태스크 할당 속도를 최적화한다. 실험 결과, 기존 Hadoop 스케줄러 대비 맵·리듀스 데이터 로컬리티와 네트워크 오버헤드가 크게 개선됨을 확인하였다.

상세 분석

JoSS는 가상 MapReduce 클러스터라는 특수 환경을 고려해 설계된 최초의 작업‑드리븐 스케줄링 프레임워크이다. 기존 Hadoop 스케줄러는 물리적 노드·랙 정보를 활용해 노드‑로컬리티와 랙‑로컬리티를 최적화하지만, VPS 임대자는 물리적 토폴로지를 알 수 없으므로 ‘VPS‑locality’, ‘Cen‑locality’, ‘off‑Cen’이라는 세 단계의 로컬리티만 활용 가능하다. JoSS는 이러한 제약을 반영해 작업을 크게 두 축으로 분류한다. 첫 번째 축은 입력 데이터 크기를 기준으로 ‘대형 작업’과 ‘소형 작업’으로 나누며, 평균 데이터센터 규모와 비교해 임계값을 수학적으로 도출한다. 두 번째 축은 소형 작업을 다시 ‘맵‑중심 작업’과 ‘리듀스‑중심 작업’으로 구분한다. 이는 각 작업의 맵 입력 대비 리듀스 입력 비율을 이용해 결정되며, 논문에서는 최적 임계값을 증명한다.

각 작업 클래스마다 전용 스케줄링 정책을 적용한다. 대형 작업은 라운드‑로빈 방식으로 데이터센터 간에 고르게 배치해 작업 기아(starvation)를 방지하고, 소형 작업은 로컬리티를 최대화하도록 VPS‑locality를 우선 고려한다. 특히, 맵‑중심 작업은 가능한 한 동일 VPS에 데이터를 복제해 맵‑데이터 로컬리티를 높이고, 리듀스‑중심 작업은 셔플 단계에서 발생하는 인터‑데이터센터 트래픽을 최소화하도록 리듀스 태스크를 데이터가 집중된 데이터센터에 배치한다.

JoSS‑T와 JoSS‑J는 서로 상충되는 목표를 달성하기 위한 변형이다. JoSS‑T는 태스크 할당 속도를 높이기 위해 큐 관리와 태스크 매칭을 단순화하고, 빠른 할당을 위해 ‘첫 번째 적합’ 전략을 채택한다. 반면 JoSS‑J는 VPS‑locality를 극대화하기 위해 보다 정교한 매핑 알고리즘을 사용해, 동일 VPS에 맵·리듀스 쌍을 배치함으로써 셔플 트래픽을 크게 감소시킨다. 두 변형 모두 Hadoop‑0.20.2에 구현되어 기존 FIFO, Fair, Capacity 스케줄러와 동일한 실험 환경에서 비교 평가되었다.

실험에서는 두 가지 워크로드(맵‑중심·리듀스‑중심 비율이 다른 베치)와 다양한 데이터센터 구성(k=2,3,4)을 사용해 로컬리티 비율, 네트워크 오버헤드, 작업 완료 시간, 리소스 균형 등을 측정하였다. 결과는 JoSS‑T가 태스크 할당 지연을 최소화해 전체 작업 시간에서 평균 12 % 정도 개선했으며, JoSS‑J는 VPS‑locality를 85 % 이상 달성해 인터‑데이터센터 트래픽을 30 % 이상 감소시켰음을 보여준다. 또한 두 변형 모두 작업 기아 현상이 거의 발생하지 않아, 대형·소형 작업이 혼합된 환경에서도 안정적인 성능을 유지한다.

한계점으로는 각 VPS가 하나의 맵·리듀스 슬롯만 보유한다는 가정과, 데이터 복제 정책이 고정되어 있어 동적 복제 최적화와의 연계가 부족하다는 점을 들 수 있다. 향후 연구에서는 다중 슬롯 VPS, 동적 복제·스케일링, 그리고 클라우드 제공자와의 협업을 통한 물리적 토폴로지 정보 활용을 고려한 하이브리드 스케줄링을 탐색할 필요가 있다.