실용적인 병렬 외부 메모리 알고리즘 구현

본 논문은 대용량 데이터 처리를 위해 기존 BSP 기반 병렬 알고리즘을 외부 메모리(EM) 환경에 그대로 적용할 수 있는 시스템, PEMS2를 제안한다. 첫 장에서는 EM 알고리즘의 필요성을 설명하고, 기존의 PEMS가 가상 프로세서를 디스크에 매핑해 메모리 한계를 극복했지만, I/O 오버헤드와 디스크 공간 사용량이 크게 제한 요소였음을 지적한다. 이어지는 장에서는 PEMS1의 구조와 한계점을 상세히 분석한다. 특히 Alltoallv와 같은 집합 통신에서 발생하는 스와핑·메시지 전달·통신 균형 문제를 사례로 들어, 개선 가능성을 제시한다. PEMS2의 설계는 두 가지 큰 축으로 나뉜다. 첫째, 소프트웨어 아키텍처 차원에서 멀티코어 지원과 비동기 I/O를 도입한다. 메모리를 파티션별로 나누고, 각 파티션을 독립 스레드가 담당하도록 함으로써 CPU 코어 간 경쟁을 최소화한다. 루트 동기화, 초기·최종 동기화, 스레드 신호 메커니즘을 통해 BSP 슈퍼스텝의 동기화 비용을 디스크 I/O와 겹치게 설계하였다. 둘째, 디스크 사용 효율을 높이기 위해 스와핑 정책을 재설계하고, 메시지 전달 방식을 직접 전달과 버퍼 기반 전달로 구분한다. 직접 전달은 메시지를 바로 디스크에 기록해 수신 프로세서가 즉시 읽을 수 있게 하며, 버퍼 기반 전달은 대량 메시지를 한 번에 모아 디스크 I/O 횟수를 감소시킨다. 또한, 디스크 공간 절감을 위해 가상 프로세서의 메모리 할당·해제 시점을 최적화하고, 3‑레벨 디스크 매핑(k=3, D=2) 구조를 도입해 데이터 접근 지역성을 강화한다. 실험에서는 PEMS1과 PEMS2를 다양한 알고리즘에 적용해 성능을 비교하였다. PSRS(Parallel Sorting by Regular Sampling)에서는 프로세서 수가 1,2,4,8일 때 각각 평균 2.1배, 2.5배, 2.9배, 3.2배의 속도 향상을 기록했다. CGMLib의 정렬·프리픽스 합·오일러 투어 테스트에서도 PEMS2가 동일 조건에서 최소 1.8배, 최대 3배 이상의 실행 시간 감소를 보였다. 특히 비동기 I/O와 멀티코어 동시 실행이 디스크 대기 시간을 크게 줄여 전체 스케일링 효율을 높인 것이 주요 원인으로 분석된다. 또한, 메모리 매핑(mmap)과 STXXL 파일 기반 I/O 모두에서 일관된 성능 개선을 확인했으며, 디스크 사용량도 PEMS1 대비 평균 35% 이상 감소하였다. 결론적으로 PEMS2는 BSP 알고리즘을 별도 수정 없이 외부 메모리 환경에 적용할 수 있는 실용적인 프레임워크를 제공한다. 비동기 I/O, 멀티코어 지원, 효율적인 스와핑·메시지 전달 설계 등을 통해 기존 PEMS와 손수 구현한 EM 알고리즘 사이의 성능 격차를 크게 줄였으며, 향후 더 큰 데이터셋과 다양한 BSP‑like 모델에 대한 확장 가능성을 제시한다.