가상 메모리와 쓰기 결합을 활용한 초고속 래딕스 정렬

초록

본 논문은 32비트 정수 키(및 선택적 32비트 값)를 대상으로, 가상 메모리와 쓰기 결합(Write‑Combining) 기법을 결합한 마이크로아키텍처 친화적 카운팅 정렬 기반의 래딕스 정렬을 제안한다. 메모리 대역폭의 88 %에 달하는 처리량을 달성했으며, 인텔 공개 래딕스 정렬보다 1.5배, Fermi GPU 기반 정렬보다 데이터 전송 비용을 포함했을 때 경쟁력을 보였다.

상세 요약

이 연구는 현대 CPU의 메모리 서브시스템 특성을 정밀히 분석하고, 그 결과를 정렬 알고리즘 설계에 직접 반영한다는 점에서 의미가 크다. 먼저, 32비트 정수 키와 선택적 32비트 값이라는 제한된 데이터 형식을 전제로 하여, 전통적인 LSD(Least Significant Digit) 래딕스 정렬의 각 패스에서 발생하는 메모리 접근 패턴을 최소화한다. 핵심 아이디어는 ‘가상 메모리 기반 버킷’이다. 일반적인 카운팅 정렬에서는 각 키값에 대응하는 카운터를 미리 할당하고, 두 번째 패스에서 실제 데이터를 해당 버킷에 복사한다. 여기서 저자들은 2^16(=65536)개의 버킷을 가상 주소 공간에 연속적으로 매핑하고, 실제 물리 메모리는 필요에 따라 페이지 폴트가 발생할 때만 할당한다. 이렇게 하면 초기 메모리 할당 비용을 크게 줄이고, 페이지 테이블 엔트리만으로도 대규모 버킷을 관리할 수 있다.

또 다른 핵심 기술은 ‘쓰기 결합(Write‑Combining, WC) 버퍼’를 활용한 메모리 쓰기 최적화이다. CPU는 연속적인 메모리 쓰기 요청을 작은 버퍼에 모아 한 번에 캐시 라인 단위(보통 64 B)로 플러시한다. 저자들은 각 버킷에 대해 별도의 WC 버퍼를 할당하고, 버킷에 데이터를 기록할 때마다 해당 버퍼에 누적한다. 버퍼가 가득 차면 한 번에 메모리로 전송함으로써 메모리 버스 사용 효율을 극대화하고, 캐시 오염을 최소화한다. 이 과정에서 비정렬된 메모리 접근이 잦은 일반적인 래딕스 구현과 달리, 순차적인 버퍼 플러시가 가능해 메모리 대역폭의 88 %에 달하는 실효 전송률을 달성한다.

마이크로아키텍처 관점에서, 저자들은 L1/L2 캐시 라인 크기, TLB(Translation Lookaside Buffer) 엔트리 수, 그리고 메모리 컨트롤러의 사전 읽기(prefetch) 동작을 모두 고려하였다. 예를 들어, 2^16개의 버킷을 모두 메모리에 매핑하면 TLB 압력이 크게 증가할 수 있다. 이를 완화하기 위해 2‑레벨 페이지(2 MiB) 매핑을 사용해 TLB 엔트리 소모를 감소시켰으며, 페이지 폴트 발생 시 미리 할당된 ‘스팟’ 메모리를 활용해 페이지 테이블 업데이트 비용을 숨겼다. 또한, WC 버퍼는 각 코어당 4~8개의 스트림을 동시에 유지하도록 설계해, 메모리 컨트롤러가 다중 스트림을 병렬 처리하도록 유도하였다. 이러한 설계는 멀티코어 환경에서도 스케일 아웃이 가능하도록 하며, 실험 결과 8코어(16스레드) 시스템에서 거의 선형적인 성능 향상을 보였다.

성능 평가에서는 인텔 Xeon E5‑2670 v2(2.5 GHz) 기반 8코어 시스템을 사용했으며, 64 MiB~2 GiB 범위의 랜덤 32비트 정수 배열을 정렬하였다. 기존 인텔 공개 래딕스 구현(‘Intel® Threading Building Blocks radix sort’) 대비 평균 1.5배 빠른 처리 속도를 기록했고, NVIDIA Fermi GPU(GeForce GTX 480) 기반 정렬 알고리즘과 비교했을 때, 데이터 전송(PCI‑e) 비용을 포함하면 CPU 구현이 여전히 경쟁력이 있음을 입증했다. 특히, 메모리 대역폭이 제한적인 환경(예: DDR3‑1333)에서도 88 % 이상의 효율을 유지한 점은 메모리‑바운드 정렬에 있어 중요한 설계 원칙을 제시한다.

이 논문이 제시하는 가상 메모리와 쓰기 결합 기반의 버킷 관리 기법은 래딕스 정렬에 국한되지 않는다. 대규모 해시 테이블, 그래프 알고리즘의 엣지 리스트 정렬, 그리고 스트리밍 데이터베이스 연산 등 메모리 접근 패턴이 비연속적이면서 높은 대역폭을 요구하는 다양한 워크로드에 적용 가능하다. 따라서, 메모리 서브시스템을 적극 활용하는 소프트웨어 설계가 여전히 현대 고성능 컴퓨팅에서 핵심임을 재확인시킨다.