대용량 데이터용 적응형 하이브리드 정렬 레전다

초록

레전다(Leyenda)는 메모리와 디스크 I/O 조건에 따라 내부·외부 정렬을 자동 전환하는 하이브리드 MSB Radix‑MergeSort이다. 스레드 로컬 캐시 활용, 병렬 병합, 적응형 I/O 스케줄링을 결합해 다양한 워크로드에서 GNU parallel 퀵·머지 정렬보다 최대 3배 빠른 성능을 보이며, 2019 SIGMOD 프로그래밍 콘테스트 외부 정렬 부문 2위, 전체 4위를 차지했다.

상세 분석

레전다 알고리즘은 전통적인 MSB Radix Sort와 MergeSort의 장점을 결합한 하이브리드 설계가 핵심이다. 입력 데이터를 가장 높은 비트부터 분할하면서, 각 파티션을 크기에 따라 내부 정렬(캐시‑친화적 인‑플레이스 정렬) 혹은 외부 정렬(디스크 기반 병합)으로 동적으로 선택한다. 이때 파티션 크기와 현재 시스템의 메모리 사용량, 디스크 대역폭, CPU 캐시 라인 수 등을 실시간으로 측정해 ‘분할 임계값(threshold)’을 조정한다.

스레드 레벨에서 각 파티션은 독립적인 작업 큐에 할당되며, 작업 큐는 작업 스틸링(work stealing) 메커니즘을 통해 부하를 균등하게 분산한다. 캐시 활용을 극대화하기 위해 파티션은 64KB 정렬 블록 단위로 메모리 복사 없이 직접 정렬하고, SIMD 명령어와 비트 연산을 활용해 Radix 단계의 키 추출을 가속한다. 또한, 외부 정렬 단계에서는 다중 디스크 스트리밍을 지원하는 ‘다중‑채널 I/O 파이프라인’을 도입해 디스크 읽기·쓰기 병목을 최소화한다. 이 파이프라인은 OS‑레벨 비동기 I/O와 사용자‑레벨 버퍼 풀을 결합해, 디스크 접근 시 발생하는 컨텍스트 스위치 비용을 크게 낮춘다.

알고리즘의 복합 복잡도는 입력 데이터의 비트 길이 b와 파티션 수 p에 따라 O(b·n/p + n·log p) 형태로 표현된다. 내부 정렬이 적용되는 파티션에서는 Radix‑MSB 단계가 O(b·n/p) 시간에 수행되고, 외부 정렬 파티션에서는 병합 단계가 O(n·log p) 비용을 차지한다. 실험 결과, 메모리 제한이 4 GB 이하인 1 TB 데이터셋에서 레전다는 기존 외부 정렬 구현 대비 평균 2.7배, 최악의 경우 3.1배 빠른 처리량을 기록했다.

레전다의 설계는 하드웨어 이질성(다양한 CPU 코어 수, SSD·HDD 혼합 스토리지, NUMA 구조)에도 유연하게 대응한다. NUMA 환경에서는 파티션을 로컬 메모리 노드에 바인딩하고, 원격 메모리 접근을 최소화하도록 파티션 재배치를 수행한다. 또한, GPU 가속을 위한 인터페이스를 제공해, 비트 추출과 초기 파티셔닝 단계에서 CUDA 커널을 호출할 수 있다. 이러한 확장성은 레전다가 클라우드·엣지·온프레미스 환경 모두에서 일관된 성능을 제공하도록 만든다.