스트리밍 모델에서 상수 메모리와 로그 패스로 문법 기반 압축 구현

본 논문은 최근 데이터 양의 급증과 외부 메모리 환경에서의 효율적인 압축 필요성에 대응하고자, 스트리밍 모델에서 문법 기반 압축을 연구한다. 기존 연구에서는 다항 메모리·다항 패스를 갖는 단일 스트림 환경에서 최소 문법 크기 g 에 대한 다항 근사조차 불가능하다는 하한을 제시했으며, 이는 실제 대규모 데이터 처리에 큰 제약이 된다. 저자들은 이러한 한계를 극복하기 위해 “읽기/쓰기 스트림”을 여러 개 허용하는 모델을 채택한다. 핵심 아이디어는 두 단계로 구성된다. 첫 번째 단계는 문자열 s 에 대한 LZ77 파스를 로그 공간( O(log n) 비트)만으로 계산하는 알고리즘을 제시한다. 구체적으로, 현재까지 파싱된 접두사와 남은 문자열 사이의 최장 공통 접두사를 탐색하면서, 매칭 위치와 길이를 포인터와 카운터 몇 개로 관리한다. 이 과정은 전체 문자열을 한 번 순회하면서 각 구절을 차례로 출력하므로, 메모리 사용량이 입력 길이에 비례하지 않는다. 논문은 이를 Lemma 2로 정리한다. 두 번째 단계는 LZ77 파스를 실제 CFG로 변환하는 과정이다. LZ77 파스 자체는 최소 문법 크기 g 의 하한을 제공하지만, 구절이 이전 구절의 중간에 시작·끝나는 경우가 있어 직접적인 문법 규칙으로는 표현이 어렵다. 이를 해결하기 위해 저자들은 “구절 분할” 절차를 도입한다. 각 구절을 두 번 이하로 분할하여, 모든 구절이 완전한 앞선 구절들의 연속적인 연결(concatenation) 형태가 되도록 만든다. 이 과정은 구절 수를 최대 제곱까지 늘릴 수 있지만, 로그 공간만으로 수행 가능하다는 Lemma 4를 제시한다. 분할된 구절들을 비단말(non‑terminal) 시퀀스로 본 뒤, 이를 완전 이진 트리 구조로 이진화한다. 트리의 내부 노드마다 새로운 비단말을 할당하고, 해당 비단말이 두 자식 노드의 결합을 생산하도록 규칙을 추가한다. 이때 트리의 높이는 O(log g) 이며, 전체 규칙 수는 기존 구절 수에 O(log g) 배만큼 증가한다. Lemma 5는 이 변환이 로그 공간에서 수행 가능하고, 규칙 수 증가가 로그 배수에 불과함을 증명한다. 최종적으로 모든 규칙을 CNF 형태로 정리함으로써, 각 규칙의 오른쪽 부분이 정확히 두 비단말 혹은 하나의 터미널이 되도록 만든다. 복잡도 분석에서는 LZ77 파스의 구절 수가 최소 문법 크기 g 의 하한임을 이용한다. 변환 과정에서 발생하는 오버헤드는 두 가지 경우 중 작은 값, 즉 O(g·log g) 또는 O(n/ log n) 중 하나가 된다. 따라서 최종 CFG의 크기는 O(min(g·log g, n/ log n)) 배 이내이며, 이는 g 에 대해 다항적인 근사 비율을 제공한다. 이 결과는 Theorem 2로 요약된다: 상수 메모리와 로그 패스, 그리고 일정 수의 스트림만으로 최소 문법에 대한 다항 근사를 달성한다는 것. 논문은 또한 Chen‑Yap 정리(1991)를 활용해, 로그 공간 알고리즘을 상수 메모리·다중 스트림 모델로 변환하는 방법을 제시한다. 이 정리는 “log‑space 계산 가능”인 함수를 “constant workspace + O(f(n)) passes over constant number of tapes”로 구현 가능하게 한다. 저자들은 이 정리를 이용해 LZ77 파스 계산과 CFG 변환 전체를 상수 메모리·로그 패스 환경으로 옮긴다. 다만, Chen‑Yap 정리의 실제 구현에서는 중간 결과가 매우 커지는 문제가 있어, 현재는 이론적 가능성만을 증명하고 있다. 결론적으로, 본 연구는 스트리밍 환경에서 문법 기반 압축이 실현 가능함을 이론적으로 입증한다. 단일 스트림·다항 메모리 모델에서는 불가능하던 다항 근사 압축을, 다중 스트림과 로그 패스를 허용함으로써 달성한다. 향후 연구 과제로는 Chen‑Yap 변환의 실용성을 높이는 구체적인 알고리즘 설계와, 실제 외부 메모리 시스템에서의 구현 및 실험 평가가 제시된다.