대규모 문자열 및 접미사 정렬의 알고리즘과 도구

초록

본 논문은 문자열 정렬과 접미사 정렬이라는 두 핵심 문제를 다루며, 1) 공유 메모리 다중 코어 환경에서의 병렬 문자열 정렬, 2) 외부 메모리 모델에서 유도 정렬 원리를 적용한 접미사 정렬, 3) 분산 외부 메모리 환경에서 새로운 빅데이터 프레임워크 Thrill을 이용한 분산 접미사 정렬 알고리즘을 제시한다. 각 파트는 메모리 계층 구조와 I/O 비용을 최소화하는 설계와 구현을 통해 기존 방법 대비 뛰어난 확장성과 성능을 입증한다.

상세 분석

이 논문은 현대 컴퓨팅 환경에서 문자열과 접미사 정렬이 직면한 메모리·I/O 병목을 체계적으로 해결하고자 세 가지 차별화된 접근법을 제시한다. 첫 번째 파트는 공유 메모리 다중 코어 시스템을 목표로, 기존의 문자열 정렬 알고리즘이 갖는 캐시 미스와 부하 불균형 문제를 해소하기 위해 샘플 기반 병렬 문자열 정렬(Parallel Sample Sort)과 LCP‑aware 병합(Longest Common Prefix aware merge) 기법을 결합한다. 샘플링 단계에서 각 코어가 로컬 문자열 집합에서 대표 샘플을 추출하고, 이를 전역적으로 정렬·분할함으로써 작업 부하를 균등하게 배분한다. 이후 각 코어는 자신에게 할당된 구간을 radix sort와 MSD‑radix 변형을 이용해 캐시 친화적으로 정렬하고, LCP 정보를 활용해 병합 단계에서 비교 횟수를 크게 줄인다. 실험 결과, 64코어 시스템에서 최대 12배 이상의 스피드업을 달성했으며, 특히 긴 문자열(>1 KB)에서 LCP‑aware 병합이 전체 실행 시간을 30 % 이상 감소시켰다.

두 번째 파트는 외부 메모리 모델(E‑RAM)에서 유도 정렬(Induced Sorting) 원리를 접미사 배열(Suffix Array) 구축에 적용한다. 기존 SA‑IS 알고리즘은 메모리 내부에서 O(n) 시간에 동작하지만, 대용량 데이터(수백 기가바이트)에서는 메모리 부족이 치명적이다. 저자는 외부 메모리 버퍼링과 다중 단계 스캔을 도입해 유도 정렬을 디스크 기반으로 확장한다. 구체적으로, 문자열을 고정 크기 블록으로 나누어 각 블록을 내부 메모리에서 SA‑IS로 정렬하고, 블록 간 접두사 정보를 이용해 전체 접미사 배열을 단계적으로 유도한다. 이 과정에서 I/O 효율성을 극대화하기 위해 블록 크기를 디스크 페이지와 맞추고, 순차 읽기·쓰기 패턴을 유지한다. 이론적으로는 O((n/B)·log_{M/B}(n/B)) I/O 복잡도를 보이며, 실험에서는 10 TB 규모의 텍스트에 대해 기존 외부 메모리 접미사 정렬기법 대비 2.5배 빠른 처리 속도를 기록한다.

세 번째 파트는 분산 외부 메모리 환경을 위한 새로운 빅데이터 프레임워크인 Thrill을 기반으로 한 분산 접미사 정렬 알고리즘을 제시한다. Thrill은 C++ 기반의 데이터플로우 엔진으로, **DIA(Distributed Immutable Array)**라는 추상화를 제공해 데이터 이동과 연산을 선언형으로 기술한다. 논문에서는 Thrill 위에 분산 유도 정렬 파이프라인을 구현했으며, 핵심은 (1) 전역 샘플링을 통한 파티셔닝, (2) 각 파티션 내 로컬 SA‑IS 정렬, (3) 파티션 간 접두사 인덱스를 교환해 전체 접미사 배열을 유도하는 단계이다. 네트워크 I/O를 최소화하기 위해 압축 전송과 비동기 파이프라인을 활용했으며, 클러스터 규모가 128노드(각 64 GB RAM, 10 Gbps 네트워크)일 때 1 TB 텍스트를 8분 내에 정렬하는 성과를 보였다. 또한, Thrill의 fault‑tolerance 메커니즘을 통해 노드 장애 발생 시 자동 복구가 가능함을 입증했다.

전체적으로 이 논문은 메모리 계층(CPU 캐시 → RAM → 디스크 → 네트워크)별 특성을 정밀히 모델링하고, 각각에 최적화된 알고리즘 설계와 구현을 통해 문자열·접미사 정렬 분야에서 확장성·성능의 새로운 기준을 제시한다. 특히, 병렬·외부·분산이라는 세 축을 모두 포괄한 통합적 접근은 빅데이터 텍스트 분석, 유전체 서열 정렬, 로그 처리 등 실시간·대용량 문자열 처리 응용에 직접적인 활용 가능성을 높인다.