멀티코어와 NUMA 환경을 위한 고성능 병렬 문자열 정렬 설계

초록

본 논문은 현대 멀티코어 공유 메모리 시스템과 NUMA 아키텍처에서 문자열 정렬을 효율적으로 수행하기 위한 새로운 병렬 알고리즘들을 제안한다. 핵심 기법으로는 메모리 계층을 활용한 문자열 샘플 정렬(S⁵), LCP‑aware 다중‑웨이 병합·병합정렬, 그리고 멀티키 퀵소트와 래딧 정렬의 병렬화가 있다. 실험 결과, 제안된 구현들은 실제 데이터와 최신 하드웨어에서 뛰어난 확장성을 보이며 기존 방법들을 크게 앞선다.

상세 분석

이 논문은 문자열 정렬이라는 전통적인 문제를 현대 하드웨어의 특성—특히 코어 수의 급증, 깊은 캐시 계층, 그리고 NUMA 메모리 구조—에 맞추어 재설계한다. 가장 눈에 띄는 기여는 ‘String Sample Sort(S⁵)’이다. 기존 샘플 정렬은 원자형 키에 최적화돼 있었지만, 저자들은 문자열의 공통 접두사(LCP)를 활용해 버킷 분할 시 불필요한 전체 문자열 비교를 피하고, 분할 기준을 캐시 친화적으로 배치한다. 이를 위해 오버샘플링 파라미터 α와 분할 수 k를 동적으로 조정하고, 각 버킷 내부에서는 이미 확보된 LCP 정보를 재활용해 재귀 호출 시 비교 비용을 O(D + n log n) 수준으로 제한한다. 또한, 분류 단계에서 분기 예측 실패를 최소화하기 위해 SIMD‑like 연산과 워드 레벨 병렬성을 도입, 파이프라인 효율을 크게 향상시켰다.

NUMA 환경을 겨냥한 ‘Multiway LCP‑Merge’와 ‘LCP‑aware Mergesort’는 원격 메모리 접근을 최소화한다. 문자열 집합을 사전 정렬된 서브시퀀스로 나눈 뒤, 각 서브시퀀스의 LCP 배열을 유지하면서 다중‑웨이 병합을 수행한다. 병합 과정에서 공통 접두사를 공유하는 문자열들은 한 번만 메모리에서 읽어들이고, 이후 비교는 LCP 값만으로 진행되므로 원격 캐시 라인 전송을 크게 줄인다. 이 설계는 특히 대규모 NUMA 머신에서 메모리 대역폭 병목을 완화하고, 스케일‑아웃 시에도 거의 선형적인 속도 향상을 보인다.

또한, 저자들은 기존에 성공을 거둔 멀티키 퀵소트와 래딧 정렬을 문자열에 맞게 병렬화한다. 멀티키 퀵소트는 작은 버킷에 대해 삽입 정렬을 베이스케이스로 사용하고, LCP 정보를 활용해 피벗 선택과 파티셔닝을 가속한다. 래딧 정렬은 문자 단위가 아니라 워드 단위(예: 16‑bit, 32‑bit)로 묶어 한 번에 여러 문자를 처리함으로써 메모리 접근 패턴을 연속적으로 만든다. 두 알고리즘 모두 SIMD 명령어와 루프 언롤링을 적용해 슈퍼스칼라 파이프라인을 최적화했으며, 캐시 블록 크기에 맞춘 동적 버킷 크기 조절을 통해 메모리 대역폭 사용을 최소화한다.

실험에서는 5개의 최신 멀티코어 플랫폼(다중 소켓, 다양한 캐시 구조, 서로 다른 NUMA 토폴로지)을 대상으로 다양한 실제 데이터(텍스트 코퍼스, DNA 시퀀스, 무작위 문자열 등)를 사용했다. 결과는 S⁵가 단일 소켓 환경에서 기존 병렬 멀티키 퀵소트와 래딧 정렬을 1.8~2.5배 빠르게 수행했으며, NUMA 환경에서는 LCP‑aware 멀티웨이 병합이 가장 큰 속도 향상(최대 4배)을 보였다. 또한, 메모리 사용량은 대부분 O(n) 수준으로 제한돼, 대규모 데이터에서도 메모리 오버헤드가 최소화되었다.

전체적으로 이 논문은 문자열 정렬에 대한 이론적 한계(℧(D + n log n))를 실용적인 구현으로 구현하면서, 현대 하드웨어의 구조적 특징을 정교히 활용한 설계 패턴을 제시한다. 이는 향후 데이터베이스 인덱싱, 빅데이터 전처리, 그리고 문자열 기반 머신러닝 파이프라인 등에 직접 적용 가능하며, 병렬 문자열 정렬 분야의 새로운 기준을 제시한다.