압축 인덱스 사전과 k진 트리·접두합·멀티셋 인코딩

초록

이 논문은 집합 S⊆{0,…,m‑1}을 최소 비트수 ⌈log (m choose n)⌉에 가깝게 저장하면서 Rank와 Select 연산을 O(1) 시간에 지원하는 인덱스 가능한 사전 구조를 제시한다. RAM 모델에서는 추가 O(log log m) 비트만 필요하고, 셀 프로브 모델에서는 완전 최적 공간을 달성한다. 제안 기법을 이용해 k진 트리, 멀티셋, 그리고 합이 m인 정수열을 각각 정보 이론적 최적 비트수로 인코딩하고, 관련 쿼리를 상수 시간에 처리한다.

상세 분석

본 연구는 “인덱스 가능한 사전(indexable dictionary)”이라는 문제를 새롭게 정의하고, 기존의 최소 공간을 달성하는 멤버십 사전(yes/no)과는 달리 Rank와 Select라는 두 가지 순서 기반 연산을 동시에 O(1) 시간에 수행할 수 있는 자료구조를 설계한다. 핵심 아이디어는 크게 세 단계로 나뉜다. 첫째, 집합 S를 이진 문자열 형태로 표현하고, 이를 블록 단위(크기 Θ(log m))로 나눈 뒤 각 블록에 대해 “밀도” 정보를 저장한다. 둘째, 블록 내부에서는 “프리픽스 합”과 “선택” 연산을 지원하기 위해 고전적인 전위 트리와 선택 비트벡터를 변형한 구조를 사용한다. 여기서 중요한 점은 블록 내 비트패턴이 제한된 경우(예: 0‑1 비율이 일정 범위 내) 압축 비트코드를 적용해 실제 사용 비트를 B(n,m)+o(n) 수준으로 줄일 수 있다는 점이다. 셋째, 블록 간에는 “누적 밀도 테이블”을 두어 전체 Rank와 Select를 블록 경계에서 빠르게 변환한다. 이때 누적 테이블 자체를 “샘플링 간격을 조정한 가변 길이 인코딩”으로 저장함으로써 O(log log m) 비트의 부가 공간만을 요구한다.

RAM 모델에서는 워드 크기 w=Θ(log m) 가정 하에, 각 연산이 단일 워드 연산(비트 마스크, 시프트, POPCOUNT 등)으로 구현 가능하도록 설계했다. 셀 프로브 모델에서는 메모리 접근 비용을 무시하고, 누적 테이블을 완전 압축(즉, O(1) 비트) 형태로 저장함으로써 O(log log m) 추가 비트를 완전히 제거한다. 이는 Fich·Miltersen과 Pagh가 제기한 “상수 시간 Rank/Select를 최소 공간으로 구현할 수 있는가?”라는 질문에 대한 부정확한 답을 정확히 해결한다.

제안된 인덱스 사전은 다양한 파생 구조에 직접 적용될 수 있다. k진 카디널 트리(각 노드가 최대 k개의 자식을 가질 수 있는 트리)의 경우, 트리 구조를 “부모‑자식 관계를 나타내는 순서쌍 집합”으로 모델링하고, 이 집합을 인덱스 사전으로 압축 저장한다. 이렇게 하면 트리의 노드 수 n에 대해 B(n, k·n)+o(n) 비트만 사용하면서, 자식 번호, 부모 번호, 서브트리 크기 등 전통적인 트리 연산을 O(1) 시간에 수행할 수 있다.

멀티셋의 경우, 원소의 중복을 허용하기 때문에 집합 대신 “다중 집합을 나타내는 (값, 카운트) 쌍”을 저장한다. 여기서 카운트는 0부터 시작하는 누적 합 형태로 변환되어 다시 인덱스 사전의 Rank/Select 연산에 매핑된다. 결과적으로 멀티셋을 B(n, m+n)+o(n) 비트로 인코딩하면서, 특정 값 이하의 원소 개수를 묻는 Rank와 k번째 원소를 찾는 Select를 상수 시간에 지원한다.

마지막으로, 합이 m인 비음수 정수열을 “접두합 배열”로 변환하고, 이 배열을 위와 동일한 인덱스 사전으로 압축한다. 이렇게 하면 prefix‑sum 쿼리(0부터 i까지의 합)를 O(1) 시간에 답변할 수 있다. 전체 구조는 “정적” 데이터에 최적화되어 있으며, 업데이트 연산은 별도의 재구축 절차가 필요하지만, 재구축 비용이 O(n)인 경우에도 실용적인 성능을 보인다.

이 논문의 주요 공헌은 (1) 최소 엔트로피 한계에 거의 도달하는 압축률, (2) Rank/Select를 포함한 순서 연산을 상수 시간에 처리하는 알고리즘적 설계, (3) 이러한 기본 구조를 트리, 멀티셋, 정수열 등 다양한 응용 분야에 자연스럽게 확장한 점이다. 특히, O(log log m) 비트의 부가 공간을 RAM 모델에서만 허용하고, 셀 프로브 모델에서는 완전 최적 공간을 달성한다는 점은 이론적 의미가 크다. 또한, 실제 구현 시 POPCOUNT와 같은 하드웨어 가속 명령을 활용하면 매우 낮은 상수 팩터를 기대할 수 있어, 대규모 데이터베이스, 압축 인덱스, 파일 시스템 메타데이터 등에 직접 적용 가능하다.