두 데이터 집약 패러다임의 비교와 통합 전략

초록

본 논문은 전통적인 고성능 컴퓨팅(HPC)과 Apache‑Hadoop 기반 빅데이터 스택(ABDS) 두 주요 패러다임을 체계적으로 비교한다. 공통 용어와 기능적 요소를 정의하고, “Big Data Ogres”라는 워크로드 분류 체계를 제시한다. K‑means 클러스터링을 실험 사례로 삼아 각 플랫폼의 성능·확장성·프로그래밍 모델을 정량·정성적으로 평가하고, 양 패러다임의 구조적 유사성과 상호 보완 가능성을 논의한다.

상세 분석

이 논문은 데이터‑집중형 과학 응용이 직면한 네 가지 핵심 문제—대규모 데이터 분산, 데이터와 컴퓨트의 공동 배치·스케줄링, 대용량 저장·전송—를 출발점으로 삼아 HPC와 ABDS 두 생태계를 비교한다. 저자들은 먼저 각 패러다임의 기본 아키텍처를 다섯 계층(리소스 패브릭, 리소스 관리, 통신, 고수준 런타임, 데이터 처리/분석)으로 분해하고, 계층별 추상화와 구현 차이를 도표화한다. HPC는 전통적으로 컴퓨트와 스토리지를 물리적으로 분리하고, SLURM·Torque·SGE와 같은 중앙집중식 스케줄러가 코어 중심의 슬롯을 할당한다. 데이터는 Lustre·GPFS와 같은 병렬 파일시스템을 통해 공유되며, 데이터 로컬리티는 스케줄링에 반영되지 않는다. 반면 ABDS는 HDFS와 YARN을 기반으로 데이터와 컴퓨트를 동일 노드에 배치하고, 다중 레벨 스케줄링을 통해 애플리케이션‑레벨 스케줄러가 자원을 동적으로 할당한다. 이는 Spark, Tez, Flink 등 반복·스트리밍 워크로드에 최적화된 구조다.

논문은 “Big Data Ogres”라는 개념을 도입해 워크로드를 문제 구조(플레인 파랄렐, 로컬·글로벌 머신러닝, 데이터 퓨전 등), 데이터 소스(SQL, NoSQL, 파일, IoT, 스트리밍 등), 핵심 알고리즘(K‑means, PageRank, LDA 등) 세 축으로 분류한다. 이 분류는 HPC와 ABDS 양쪽에서 흔히 나타나는 패턴을 포착하고, 벤치마크 설계에 활용될 수 있다.

실험 부분에서는 K‑means를 대표 Ogre로 선택하고, MPI‑기반 MapReduce, Spark, Hadoop‑MapReduce, 그리고 HPC 전용 MPI 구현을 동일 데이터셋(수백 GB)에서 실행한다. 결과는 HPC가 네트워크 대역폭이 충분히 확보된 경우 초당 플롭스와 I/O 처리량에서 우위를 보이지만, 데이터 로컬리티를 활용하는 Spark와 Hadoop은 작업 스케줄링 오버헤드가 낮아 짧은 반복 횟수와 작은 데이터 파티션에서 더 높은 효율을 나타낸다. 또한, YARN의 다중 레벨 스케줄링은 동적 워크로드 혼합 상황에서 자원 활용률을 15 % 이상 향상시켰다.

저자들은 이러한 정량적 결과를 바탕으로 두 패러다임이 구조적으로는 유사하지만, 인터페이스와 운영 모델에서 차이가 있음을 강조한다. 특히, iRODS·SRM 같은 HPC 전용 데이터 관리 서비스와 HDFS·Hive 같은 ABDS 데이터 레이어를 통합하는 하이브리드 아키텍처가 향후 과학 워크플로우의 확장성을 크게 높일 수 있다고 제안한다. 마지막으로, Ogres 세트를 표준 벤치마크로 채택하면 새로운 하드웨어·소프트웨어 스택의 성능을 다차원적으로 평가할 수 있을 것으로 기대한다.