대규모 데이터 클라우드 분석을 위한 새로운 벤치마크 MalStone

초록

MalStone은 데이터 마이닝 작업에 특화된 클라우드 컴퓨팅 미들웨어의 성능을 측정하기 위해 설계된 벤치마크이다. 기존의 Terasort와 달리 사이트‑이벤트‑마크 구조의 대용량 로그 데이터를 생성·분석하는 워크로드를 제공하며, 이를 지원하는 데이터 생성 도구인 MalGen도 함께 제시한다.

상세 분석

본 논문은 클라우드 환경에서 대규모 데이터 마이닝을 수행할 때 필요한 성능 특성을 정확히 드러내는 벤치마크가 부재함을 지적한다. 기존에 널리 사용되는 Terasort는 정렬·분산 입출력 성능을 평가하는 데는 유용하지만, 실제 데이터 마이닝 파이프라인이 요구하는 복합적인 연산(필터링, 집계, 조인, 시간 기반 윈도우 등)을 반영하지 못한다. 이러한 한계를 보완하기 위해 저자들은 MalStone이라는 새로운 벤치마크를 설계하였다.

MalStone은 “사이트(site)‑이벤트(event)‑마크(mark)”라는 3계층 데이터 모델을 기반으로 한다. 각 사이트는 고유 ID를 갖고, 수백만 건 이상의 이벤트가 시간 스탬프와 함께 기록된다. 이벤트는 특정 마크(예: 악성 코드 감염, 사기 행위 등)를 포함할 수 있으며, 벤치마크는 마크가 특정 비율 이상 발생한 사이트를 찾아내는 두 가지 질의(‘MalStone A’와 ‘MalStone B’)를 정의한다. A는 전체 기간 동안 마크 비율을 계산하고, B는 이동 윈도우(예: 최근 7일) 내에서 비율을 재계산한다. 이러한 질의는 대규모 집계와 필터링, 그리고 시간 구간 연산을 동시에 요구하므로, 클라우드 미들웨어의 데이터 파이프라인, 스케줄러, 네트워크 I/O, 디스크 서브시스템 전반에 걸친 성능을 종합적으로 평가한다.

데이터 생성 도구인 MalGen은 Hadoop 클러스터 상에서 병렬적으로 실행되어, 지정된 규모(수십 GB에서 수 TB까지)의 synthetic 로그를 빠르게 만든다. MalGen은 파라미터화된 확률 모델을 사용해 사이트별 이벤트 발생 빈도와 마크 발생 확률을 조절함으로써, 현실적인 데이터 분포(핫스팟, 스키드 분포 등)를 모사한다. 이는 벤치마크 결과가 실제 업무 워크로드와 의미 있게 비교될 수 있게 한다.

실험에서는 Hadoop MapReduce와 Hadoop Streaming을 이용해 MalStone 질의를 구현하고, 클러스터 규모(10, 20, 40 노드)와 데이터 크기(100 GB, 500 GB, 1 TB) 변화를 통해 확장성을 측정하였다. 결과는 노드 수가 증가함에 따라 처리 시간은 거의 선형적으로 감소했으며, 특히 MalStone B와 같이 시간 윈도우 연산이 포함된 경우, 데이터 파티셔닝 전략과 캐시 활용이 성능에 큰 영향을 미친다는 점을 밝혀냈다. 또한, 동일한 하드웨어 환경에서 기존 Terasort 대비 2~3배 높은 CPU·I/O 사용률을 보였으며, 이는 MalStone이 더 복합적인 연산을 요구함을 시사한다.

논문은 마지막으로 MalStone이 제공하는 표준화된 워크로드가 클라우드 기반 데이터 마이닝 플랫폼(예: Spark, Flink) 간의 성능 비교에 유용할 것이라 주장하고, 향후 실제 기업 로그 데이터를 기반으로 한 확장된 벤치마크 세트와, 실시간 스트리밍 분석을 포함한 변형 버전 개발 필요성을 제시한다.