적응형 인코딩으로 작고 빠른 압축 접미사 배열 구현

초록

본 논문은 BWT 기반 압축 접미사 배열(CSA)의 공간·속도 균형을 개선하기 위해 가변 길이 블로킹(VLB) 기법을 제안한다. BWT를 최대 w 개의 런을 포함하는 블록으로 재귀적으로 분할하고, 블록들을 트리 구조에 배치한다. 압축 가능한 영역은 트리 상위에 위치해 보조 정보를 최소화하고, 압축이 어려운 영역은 깊은 하위에 배치해 추가 인덱스를 제공한다. 또한 역검색(backward search) 과정에서만 정확성을 보장하는 샘플링 방식을 도입해 공간을 절감한다. 실험 결과, VLB 기반 r‑index와 sr‑index 대비 쿼리 시간은 크게 개선되면서도 공간 사용량은 기존 방법과 비슷하거나 더 작다.

상세 분석

이 논문은 반복적인 대규모 텍스트 컬렉션을 색인하는 압축 접미사 배열(CSA)의 두 가지 핵심 문제—공간 효율성과 쿼리 속도—를 동시에 해결하고자 한다. 기존 r‑index는 BWT를 런 길이 압축(RLE)하고 각 런마다 두 개의 SA 샘플을 저장해 O(r) 공간을 달성하지만, 편집이 가해지면 런 수 r이 급격히 증가한다. 저자들은 BWT 내 런 분포가 지역적으로 크게 차이나는 점에 주목하고, 이를 활용해 인덱스 비용을 동적으로 재분배한다. 구체적으로, BWT를 최대 w 개의 런을 포함하도록 가변 길이 블록으로 재귀 분할하고, 블록들을 f-ary 트리(VLB‑tree)로 조직한다. 압축이 쉬운 구간은 트리의 상위에 위치해 최소한의 보조 정보(예: 블록 시작 위치와 런 길이)만을 저장하고, 압축이 어려운 구간은 트리 깊이를 늘려 추가적인 rank·successor 샘플을 부착한다. 이렇게 하면 전체 트리 높이는 O(log_f(ℓ/w))이며, 리프에서는 최대 w 개의 연속 런만 스캔하면 된다. 역검색 단계에서 필요한 rank와 successor 연산은 “유효 역검색 상태”에만 정확성을 보장하도록 샘플링한다. 즉, BWT 범위가 실제 패턴 매칭 과정에서 도달 가능한 경우에만 정확한 값을 제공하도록 설계해, 불필요한 샘플을 제거하면서도 검색 정확도와 속도에 영향을 주지 않는다. 또한 VLB‑tree를 φ⁻¹ 함수와 결합해 SA 샘플을 효율적으로 복원하고, 이를 subsampled r‑index(sr‑index) 형태로 구현한다. 실험에서는 5배 이상 빠른 count 쿼리와 9배에 달하는 locate 쿼리 속도 향상을 보였으며, 공간은 기존 sr‑index와 동등하거나 최대 2배 절감하였다. 캐시 친화적인 메모리 레이아웃과 블록‑레벨 접근 패턴이 성능 향상의 주요 원인으로 확인되었다. 전체적으로 VLB는 “압축 가능 영역에 비트 절감, 압축 불가능 영역에 비트 재분배”라는 직관적인 전략을 정형화한 것으로, 대규모 반복 데이터베이스에서 실용적인 공간·시간 트레이드오프를 제공한다.