압축을 통한 다음 심볼 예측

초록

본 논문은 텍스트 압축 알고리즘을 블랙박스로 활용해 스트림의 다음 심볼을 예측하는 방법을 제안한다. 압축된 데이터 길이를 예측 기준으로 삼아, 후보 심볼 각각을 임시로 추가한 뒤 전체 압축 길이 변화를 측정한다. 압축 길이가 가장 크게 감소하는 심볼을 최적 예측값으로 선택한다. 실험을 통해 PPM, LZ77, BWT 기반 압축기들의 파라미터가 예측 오류율에 미치는 영향을 분석하고, 전통적인 확률 기반 예측기와 비교한다.

상세 요약

이 연구는 압축과 예측 사이의 이론적 대칭성을 실용적인 알고리즘으로 구현한다는 점에서 의미가 크다. 기존 압축기들은 과거 시퀀스를 기반으로 다음 심볼의 확률분포를 모델링하고, 그 확률에 따라 엔트로피 코드를 할당한다. 논문은 이 과정을 역전시켜, ‘다음 심볼을 가정했을 때 전체 압축 길이가 얼마나 감소하는가’를 정량화한다. 구체적으로, 현재까지 관측된 문자열 S와 후보 심볼 a∈Σ에 대해 S·a를 압축하고, 압축된 비트 수 L(S·a)를 측정한다. L(S·a)−L(S) 값이 가장 작을수록 a가 실제 다음 심볼일 가능성이 높다고 가정한다. 이는 압축기가 내부적으로 구축한 컨텍스트 모델이 a를 포함했을 때 더 높은 확률을 부여한다는 의미와 일치한다.

실험에서는 세 가지 대표적인 압축기—PPM* (예측 기반), LZ77 (사전 기반), BWT+MTF+RLE (변환 기반)—를 사용하였다. 각 압축기의 주요 파라미터(예: PPM의 컨텍스트 깊이, LZ77의 윈도우 크기, BWT의 블록 크기)를 다양하게 조정하면서 예측 정확도와 압축 효율 사이의 트레이드오프를 측정했다. 결과는 다음과 같다. 첫째, 컨텍스트 깊이가 깊을수록 PPM 기반 예측은 오류율이 현저히 감소했지만, 압축 시간과 메모리 사용량이 기하급수적으로 늘어났다. 둘째, LZ77은 윈도우 크기가 32KB 이상일 때 최적의 성능을 보였으며, 특히 반복 패턴이 많은 텍스트에서 압축 길이 감소가 예측 정확도 향상으로 직접 연결되었다. 셋째, BWT 기반 압축은 블록 크기가 1MB 이상일 때 압축 효율이 크게 향상되었지만, 블록 경계에서 발생하는 컨텍스트 손실 때문에 예측 정확도는 다른 두 방법에 비해 다소 낮았다.

또한, 논문은 전통적인 마르코프 모델 기반 예측기와의 비교 실험을 수행했다. 동일한 트레이닝 코퍼스를 사용했을 때, 압축 기반 예측기는 특히 희소한 심볼(저빈도 문자)에서 더 안정적인 성능을 보였으며, 이는 압축기가 전체 코퍼스의 통계적 구조를 자동으로 포착하기 때문으로 해석된다. 그러나 압축 기반 방법은 매 예측마다 전체 문자열을 재압축해야 하는 계산 비용이 크다는 단점이 있다. 이를 완화하기 위해, 저자들은 ‘증분 압축’ 기법—이미 압축된 상태에서 새로운 심볼만 추가 압축—을 제안했으며, 실험 결과 이 방법이 시간 복잡도를 약 70% 감소시키면서도 정확도 손실은 미미함을 보여준다.

전체적으로 이 논문은 압축 알고리즘을 예측 도구로 재활용하는 새로운 패러다임을 제시하고, 압축 파라미터가 예측 성능에 미치는 구체적 영향을 정량화함으로써 향후 압축‑예측 융합 시스템 설계에 중요한 지침을 제공한다.