외부 메모리에서 우선순위 큐와 정렬의 동등성

초록

본 논문은 외부 메모리 I/O 모델에서 우선순위 큐와 정렬이 계산적으로 동등함을 증명한다. 정렬 알고리즘을 블랙박스로 이용해 삽입·삭제·최소값 조회 연산을 수행하는 우선순위 큐를 설계하고, 각 연산의 I/O 비용이 정렬의 키당 I/O 비용과 동일하도록 만든다. 이를 통해 우선순위 큐에 대한 하한을 정렬 하한으로 전이시킬 수 있는 기반을 제공한다.

상세 분석

논문은 외부 메모리 모델, 즉 블록 크기 B와 메인 메모리 용량 M을 파라미터로 하는 I/O 모델을 전제로 한다. 기존에 내부 메모리(RAM) 모델에서 Thorup이 제시한 “정렬을 블랙박스로 사용하는 우선순위 큐”와 유사한 아이디어를 외부 메모리 환경에 맞게 변형한다. 핵심은 삽입과 삭제 연산을 배치(batch) 형태로 모아 두고, 일정량이 모이면 외부 정렬 알고리즘을 호출해 한 번에 정렬된 블록을 생성한다는 점이다. 이렇게 하면 각 연산이 개별적으로 I/O를 발생시키는 것이 아니라, O(B·log_{M/B}(N/B))와 같은 정렬의 최적 I/O 복잡도에 맞춰 amortized 비용을 공유한다.

구현상의 주요 기법은 다음과 같다. 첫째, “버퍼 트리”와 유사한 구조를 사용해 메인 메모리 내에 다중 레벨 버퍼를 두고, 하위 레벨로 내려갈수록 블록 크기가 B·M^{i} 형태로 커진다. 둘째, 삽입 연산은 최상위 버퍼에 쌓이고, 버퍼가 가득 차면 정렬된 하위 버퍼로 플러시한다. 삭제 연산도 마찬가지로 삭제 요청을 별도 버퍼에 저장하고, 정렬 단계에서 삽입과 삭제를 동시에 처리한다. 셋째, 최소값 조회는 최상위 버퍼와 정렬된 하위 버퍼의 앞부분을 비교해 O(1) I/O로 답을 얻을 수 있다.

이 설계는 “Tall Cache” 가정(M = Ω(B²)) 하에서 최적의 I/O 복잡도 O((1/B)·log_{M/B}(N/B))를 달성한다. 또한, 정렬 알고리즘을 완전한 블랙박스로 취급함으로써, 외부 정렬에 대한 새로운 하한을 우선순위 큐에 대한 하한으로 전이시킬 수 있다. 즉, 우선순위 큐에 대한 Ω((N/B)·log_{M/B}(N/B)) 하한이 증명되면, 동일한 하한이 외부 정렬에도 적용된다. 이는 기존에 정렬 하한을 직접 증명해야 했던 어려움을 완화시킨다.

마지막으로, 논문은 몇 가지 제한 사항을 명시한다. 정렬 알고리즘이 비교 기반이어야 하며, 삽입·삭제 요청이 사전에 알려진 배치 크기보다 크게 폭증하면 I/O 비용이 급증할 수 있다. 또한, 동시성이나 멀티스레드 환경에서 버퍼 관리가 복잡해질 수 있다. 그럼에도 불구하고, 제시된 변환 기법은 외부 메모리 데이터 구조 설계에 새로운 패러다임을 제공한다.