빠른 문법 기반 자체 인덱스

본 논문은 문자열 S (길이 n)의 압축 저장과 빠른 검색을 목표로, 문법 기반 자체 인덱스의 새로운 설계를 제시한다. 기존 연구에서는 SLP(직선 프로그램)만을 이용해 O(r) 공간에 O(m²·log log n) 시간 복잡도로 패턴 P(길이 m)의 모든 발생 위치를 찾을 수 있었다. 그러나 이러한 방법은 고반복 문자열에서 r 이 z·log(n/z) 에 비해 크게 증가할 수 있어, 실제 데이터베이스에서 비효율적이었다. 저자들은 먼저 SLP와 LZ77 파싱을 동시에 활용한다. LZ77 파싱은 문자열을 z 개의 구절로 분할하고, 각 구절은 이전에 등장한 부분 문자열을 복사한다는 특성을 가진다. 이때 구절 수 z 는 문자열의 반복 정도를 직접적으로 반영한다. 논문은 SLP의 규칙 수 r 과 LZ77 구절 수 z 을 모두 고려해 인덱스의 공간을 O(r + z·log log n) 워드로 제한한다. 여기서 log log n 은 매우 느리게 성장하므로, 실제 메모리 사용량은 r 에 비해 거의 무시할 수 있다. 인덱스 구조는 크게 세 부분으로 구성된다. (1) Bille·Gørtz가 제안한 `+ log n` 시간에 문자열 조각을 추출할 수 있는 데이터 구조를 SLP에 적용한다. (2) Kreft·Navarro의 4‑사이드 범위 보고 구조를 최신 파동 트리와 y‑fast trie 조합으로 구현해, 구절 경계와 구절 소스 정보를 효율적으로 조회한다. (3) 프라이머리 발생과 세컨더리 발생을 구분해, 프라이머리 발생을 2‑사이드 범위 보고로 찾고, 세컨더리 발생을 소스 구절을 따라 역추적함으로써 O(occ) 시간에 모두 복원한다. 패턴 매칭 단계에서는 먼저 패턴 P를 m 개의 접두사와 접미사로 나누어, 각각에 대해 역방향 구절 트리와 정방향 구절 트리(Patricia 트리)를 탐색한다. 이 과정에서 O(m²) 시간이 소요되지만, 각 단계에서 실제 문자열 라벨을 추출하지 않고, 트리 구조만을 이용해 범위만을 계산한다. 이후 파동 트리를 통해 해당 범위에 포함된 구절 경계를 모두 열거하고, 이를 기반으로 프라이머리 발생 위치를 얻는다. 균형 잡힌 SLP(높이·가중치 균형)와 “작은 확률의 오류 허용”이라는 추가 가정 하에, 저자들은 m² 항을 m·log m 으로 대체한다. 균형 잡힌 SLP는 트리 깊이가 O(log z + log log n) 이므로, 각 접두사·접미사 단계에서 이진 탐색을 수행해 log m 시간을 추가한다. 오류 허용은 해시 기반 충돌을 허용하는데, 충돌 확률을 충분히 낮게 설정하면 실용적인 수준에서 인덱스가 정확히 동작한다. 공간 복잡도 분석에서는, 기존의 Claude·Navarro 인덱스가 O(R) 공간에 O(m²·log(log n/ log r₀)) 시간을 필요로 했던 반면, 본 논문의 인덱스는 O(r + z·log log n) 공간에 O(m² + occ·log log n) 시간을 제공한다. 여기서 R은 CFG의 오른쪽 심볼 수, r₀는 CFG의 심볼 종류 수이며, r은 SLP 규칙 수이다. Rytter의 결과에 의해 r = O(z·log(n/z)) 이므로, 실제로 z·log log n 이 주요 추가 비용이 된다. 또한, 논문은 실험적 평가를 통해 고반복 데이터(예: 인간 게놈, 압축된 로그 파일)에서 기존 인덱스 대비 30%~50% 적은 메모리와 2배 이상의 검색 속도 향상을 확인한다. 특히 균형 잡힌 SLP를 생성하는 Maruyama·Sakamoto·Takeda의 온라인 알고리즘을 적용하면, 실제 구현에서도 이론적 복잡도와 일치하는 성능을 얻을 수 있다. 결론적으로, 이 연구는 (1) LZ77 구절 정보를 활용한 공간 절감, (2) 최신 범위 보고와 해시 기반 구조를 이용한 시간 최적화, (3) 균형 잡힌 SLP와 오류 허용을 통한 m² 항 감소라는 세 가지 혁신을 통해, 고반복 문자열에 최적화된 자체 인덱스를 제시한다. 이는 유전체 데이터베이스, 로그 분석 시스템 등 대규모 반복 텍스트를 다루는 분야에 실질적인 영향을 미칠 것으로 기대된다.