맵리듀스 셔플 단계 네트워크 부하 예측 및 최적화 모델

초록

본 논문은 고정 크기 맵리듀스 작업의 셔플 단계에서 발생하는 네트워크 부하와 구성 파라미터(맵터 수, 리듀서 수) 간의 관계를 실험적으로 프로파일링하고, 다변량 선형 회귀를 이용해 수학적 모델을 구축한다. WordCount, Exim Mainlog 파싱, TeraSort 세 가지 워크로드를 4노드 클러스터에 적용해 모델의 정확성을 검증하였다.

상세 분석

이 연구는 맵리듀스 작업의 성능 병목 현상 중 하나인 셔플 단계의 네트워크 부하를 정량화하려는 시도로, 기존 연구가 주로 CPU·디스크 I/O에 초점을 맞춘 반면 네트워크 트래픽에 대한 체계적인 모델링이 부족했음을 지적한다. 저자들은 먼저 ‘프로파일링 단계’에서 동일 데이터 크기를 유지하면서 맵터와 리듀서 수를 조합해 여러 실행을 수행한다. 이때 각 실행의 셔플 단계에서 전송된 바이트 수와 전송 시간 등을 측정해 ‘네트워크 부하’라는 지표를 정의한다.

다음으로 ‘모델링 단계’에서는 수집된 데이터를 기반으로 다변량 선형 회귀식을 도출한다. 독립 변수는 맵터 수(M)와 리듀서 수(R)이며, 종속 변수는 네트워크 부하(L)이다. 회귀식은 L = β0 + β1·M + β2·R + ε 형태이며, 최소제곱법을 이용해 β 계수를 추정한다. 여기서 ε는 오차항으로, 실험 환경의 변동성(노드 간 네트워크 지연, 백그라운드 트래픽 등)을 포괄한다. 모델의 적합도를 평가하기 위해 결정계수(R²)와 평균제곱오차(MSE)를 계산했으며, 대부분의 경우 R²가 0.85 이상으로 높은 설명력을 보였다.

‘예측 단계’에서는 새로운 맵터·리듀서 조합에 대해 회귀식을 적용해 예상 네트워크 부하를 산출한다. 이를 통해 운영자는 사전에 네트워크 대역폭 요구량을 파악하고, 클러스터 자원 할당 정책을 조정할 수 있다. 특히, 워크로드별 특성이 모델에 반영되는 정도를 확인하기 위해 WordCount, Exim Mainlog 파싱, TeraSort 세 가지 애플리케이션을 각각 실험했다. WordCount는 키-값 쌍이 비교적 작아 맵터 수 증가에 따라 부하가 선형적으로 상승했으며, 리듀서 수 증가는 부하 감소 효과가 미미했다. 반면 TeraSort는 대용량 정렬 작업으로 리듀서 수가 늘어날수록 데이터 재분배가 효율화돼 네트워크 부하가 현저히 감소하는 패턴을 보였다. Exim Mainlog 파싱은 로그 라인의 길이와 형식이 일정하지 않아 회귀 모델의 오차가 다소 커졌지만, 전체적인 추세는 여전히 선형 관계를 유지했다.

이 논문의 주요 기여는 (1) 맵리듀스 구성 파라미터와 네트워크 부하 사이의 정량적 관계를 실험적으로 규명한 점, (2) 다변량 선형 회귀를 통한 간단하면서도 실용적인 예측 모델을 제시한 점, (3) 다양한 워크로드에 대한 모델 적용 가능성을 검증한 점이다. 또한, 모델링 과정이 비교적 저비용이며, 기존 클러스터 모니터링 도구와 연동해 자동화할 수 있다는 실용적 장점도 강조한다. 다만, 선형 회귀가 복잡한 비선형 상호작용을 포착하지 못한다는 한계와, 네트워크 토폴로지 변화(예: 스위치 추가) 시 모델 재학습이 필요하다는 점은 향후 연구 과제로 남는다.