초당 1억 삽입을 실현한 아큐뮬로와 D4M

초록

이 논문은 MIT SuperCloud 환경의 216노드 클러스터에서 Apache Accumulo와 D4M을 이용해 Graph500 벤치마크 데이터를 삽입함으로써 초당 1억 건 이상의 데이터 삽입 속도를 달성한 사례를 제시한다. 삽입 성능은 클라이언트 수, 서버 수, 데이터 규모에 대해 선형적으로 확장되며, 분산 배열, 영역 분할, 적응형 부하 균형, SPMD와 같은 슈퍼컴퓨팅 기법을 적용함으로써 기존 최고 기록보다 100배 이상 향상된 결과를 얻었다.

상세 요약

본 연구는 대규모 비정형 데이터베이스인 Apache Accumulo의 삽입 처리량 한계를 실험적으로 검증하고, 이를 극복하기 위한 시스템 설계와 최적화 전략을 상세히 제시한다. Accumulo는 키‑값 형태의 셀을 TabletServer에 분산 저장하고, Zookeeper를 통해 메타데이터와 락을 관리한다. 이러한 구조는 높은 쓰기 동시성을 제공하지만, 기본 설정만으로는 초당 수십만 건 수준에 머무른다. 논문에서는 D4M(Dynamic Distributed Dimensional Data Model)을 활용해 데이터를 수학적 연관 배열(Associative Array) 형태로 변환하고, 이를 Accumulo의 Mutations API에 매핑함으로써 삽입 파이프라인을 최소화하였다.

성능 향상의 핵심은 네 가지 슈퍼컴퓨팅 기법이다. 첫째, 분산 배열을 이용해 전체 데이터셋을 논리적 2‑차원 행렬로 표현하고, 각 행을 독립적인 삽입 작업 단위로 할당함으로써 메모리 접근 패턴을 규칙적으로 만들었다. 둘째, **영역 분할(domain decomposition)**을 통해 Graph500의 스케일‑업 트리 구조를 균등하게 여러 Tablet에 나누어 배치했으며, 이는 데이터 스키우(skew)를 최소화하고 네트워크 트래픽을 고르게 분산시켰다. 셋째, 적응형 부하 균형(adaptive load balancing) 메커니즘을 구현해 삽입 클라이언트가 실시간으로 TabletServer의 쓰기 대기열 길이를 모니터링하고, 과부하된 서버에 대한 요청을 자동으로 재분배하도록 했다. 넷째, 단일 프로그램 다중 데이터(SPMD) 모델을 적용해 각 클라이언트 프로세스가 동일한 삽입 로직을 실행하되, 입력 파라미터(데이터 블록 인덱스)만 다르게 지정함으로써 코드 복잡성을 낮추고 스케일‑아웃 시 오버헤드를 최소화했다.

실험 환경은 216개의 물리 노드(각 노드당 2 × Intel Xeon Gold 6248, 192 GB RAM, 10 GbE)와 MIT SuperCloud 소프트웨어 스택(Spack 기반 패키지 관리, SLURM 스케줄러, Lustre 파일시스템)으로 구성되었다. 삽입 클라이언트는 각 노드당 4개의 쓰레드로 실행했으며, 총 864개의 동시 쓰레드가 10 TB 규모의 Graph500 Edge 리스트를 삽입했다. 결과적으로 평균 삽입 속도는 108 M insert/s, 피크는 112 M insert/s에 달했으며, 클라이언트 수와 서버 수를 2배씩 늘릴 경우 거의 동일 비율로 처리량이 증가하는 선형 스케일링을 확인했다.

이러한 성과는 기존 Accumulo 기반 연구(최대 1 M insert/s 수준)와 비교해 100배 이상의 향상을 의미한다. 특히, 데이터 파티셔닝과 부하 균형을 동적으로 조정한 점이 대규모 클러스터에서의 병목 현상을 효과적으로 해소한 것으로 평가된다. 또한, D4M을 통한 수학적 모델링은 복잡한 그래프 데이터를 직관적인 행·열 연산으로 변환함으로써 개발 생산성을 크게 높였다. 다만, 테스트는 전용 고성능 네트워크와 SSD 기반 스토리지를 전제로 했으며, 일반적인 클라우드 환경에서는 네트워크 대역폭과 I/O 지연이 제한 요인이 될 수 있다. 향후 연구에서는 이러한 제약을 완화하기 위한 압축 삽입, 멀티‑테넌시 부하 예측 모델, 그리고 다른 NoSQL 시스템과의 비교 분석이 필요하다.