빅데이터 플랫폼 사용성 비교: Hadoop MapReduce, Spark, Flink

초록

본 연구는 호주 시드니 대학 석사 과정 학생들을 대상으로 Hadoop MapReduce, Apache Spark, Apache Flink 세 가지 분산 데이터 처리 플랫폼의 사용성을 비교하였다. 과제 수행 시간, System Usability Scale(SUS) 점수, 선호도 등을 측정한 결과, Spark와 Flink가 MapReduce보다 현저히 높은 만족도와 짧은 개발 시간을 보였으며, 두 플랫폼 간에는 통계적으로 유의미한 차이가 없었다.

상세 분석

이 논문은 데이터 과학 초보자를 위한 분산 처리 시스템의 진입 장벽을 정량적으로 평가하려는 시도이다. 연구 설계는 3개의 과제(면역학, 유전체학 시나리오)를 제시하고, 첫 번째 과제는 전통적인 Hadoop MapReduce로, 두 번째와 세 번째 과제는 무작위로 나뉜 학생 집단에게 Spark와 Flink 중 하나를 할당하는 A/B 테스트 형태로 진행되었다. 참가자는 30명 내외의 다양한 전공(컴퓨터공학, 생명과학, 통계학 등)으로 구성되었으며, 사전 설문을 통해 프로그래밍 경험과 사용 언어(Python, Java, Scala) 수준을 파악하였다.

주요 측정 지표는 (1) 개발 시간(과제 구현에 소요된 실제 시간), (2) SUS 점수(10문항 설문 기반의 표준화된 사용성 평가), (3) 주관적 선호도(5점 Likert 척도)이다. 결과는 다음과 같다. 첫 번째 과제에서 MapReduce는 평균 개발 시간이 180분을 초과하고 SUS 점수는 58점대로 ‘보통 이하’ 수준을 기록했다. 반면 Spark와 Flink는 각각 평균 95분, 92분의 개발 시간을 보였으며, SUS 점수는 78점과 76점으로 ‘우수’ 수준에 해당한다. 두 플랫폼 간 차이는 p > 0.05로 통계적으로 유의미하지 않았다.

프로그래밍 경험이 풍부한 참가자는 전체적으로 빠른 구현 속도를 보였지만, 경험 수준에 관계없이 Spark와 Flink에 대한 SUS 점수는 일관되게 높았다. 이는 고수준 API(예: DataFrame, Dataset, RDD, DataSet)와 풍부한 문서·예제 제공이 학습 곡선을 크게 완화시켰음을 시사한다. 또한, Python 기반 인터페이스가 다수의 비전공자에게 친숙했으며, 이는 언어 선택이 사용성에 미치는 영향을 간접적으로 확인시켜준다.

반면 MapReduce는 저수준 Map/Reduce 함수 구현, 명시적 잡 체이닝, Hadoop Streaming 사용 시 셸 스크립트 작성 등 복잡한 절차가 필요했다. 특히 데이터 셔플링·정렬 단계와 파티셔닝 로직을 직접 다루어야 하는 점이 비전공자에게 큰 부담으로 작용했다.

연구는 또한 시스템 자체의 피드백 메커니즘(예: Spark UI, Flink Dashboard)과 오류 메시지 가독성이 사용성에 긍정적 영향을 미쳤음을 언급한다. 다만, 실험 환경이 YARN 기반 클러스터에 국한되었고, 배치 처리에 초점을 맞추었기 때문에 스트리밍 시나리오나 실시간 대시보드 사용성은 평가되지 않았다.

결론적으로, 고수준 추상화와 인메모리 연산을 제공하는 Spark와 Flink는 비전공 데이터 과학자에게 적합한 도구이며, 전통적인 MapReduce는 교육 목적이나 특수한 저수준 최적화가 필요한 경우에만 고려되는 것이 바람직하다는 점을 강조한다.