문맥 의존 다단계 패턴 매칭 기반 보편적 무손실 데이터 압축

초록

**
본 논문은 기존의 다단계 패턴 매칭(MPM) 변환에 문맥 정보를 결합한 CDMPM(grammar transform)을 제안하고, 이를 이용한 보편적 무손실 압축 알고리즘인 CDMPM 코드를 설계한다. 알고리즘의 최악 경우 레드던던스가 (C\log n) (상수 (C)) 이하임을 증명함으로써, 임의의 길이 (n) 의 입력에 대해 기존 방법보다 이론적 상한을 개선한다.

**

상세 분석

**
이 논문은 무손실 데이터 압축에서 “문법 변환(grammar transform)”이라는 접근을 확장한다. 기존의 MPM(Multilevel Pattern Matching) 변환은 입력 문자열을 여러 레벨로 분할하고, 동일한 블록을 동일한 라벨로 치환해 압축 효율을 높였지만, 블록 간의 상관관계를 충분히 활용하지 못했다. CDMPM은 이러한 한계를 극복하기 위해 문맥 의존(context dependence) 을 도입한다. 구체적으로, 레벨 (i) 에서 각 블록을 주변 블록(문맥)과 연결시켜, 동일한 블록이라도 서로 다른 문맥에 등장하면 서로 다른 라벨을 부여한다. 이는 블록의 재현 빈도를 보다 정밀하게 파악하게 하여, 후속 산술 코딩 단계에서 실제 발생 확률에 근접한 모델을 제공한다.

CDMPM 변환 과정은 크게 다섯 단계로 구성된다.

1. 입력을 (r)-진법 전개에 따라 비중첩 서브스트링으로 나눈다.
2. 각 레벨 (i) 에서 길이 (I^{r}) 인 서브블록을 생성하고, 이를 다시 (i) 레벨의 블록으로 재조합한다.
3. 각 블록에 대해 고정된 초기 문맥을 설정하고, 이전 레벨에서 얻은 문맥을 확장한다.
4. 동일한 블록을 동일 라벨로, 서로 다른 블록을 서로 다른 라벨로 매핑한다(라벨은 1부터 순차적으로 부여).
5. 각 라벨에 대해 첫 등장 블록을 특수 기호 ‘s’ 로 표시하고, 이후 등장 블록은 첫 등장 시점까지의 서로 다른 블록 수를 라벨값으로 사용한다.

이후 산술 인코더는 ‘s’ 기호를 제외한 라벨 시퀀스를 조건부 경험 엔트로피에 기반해 확률 모델링한다. 라벨별 카운터를 유지하면서, 각 심볼을 현재까지 관측된 빈도에 비례한 확률로 인코딩한다. 이렇게 하면 실제 데이터의 통계적 구조를 반영한 컨텍스트 기반 산술 코딩이 구현된다.

논문은 또한 레드던던스 상한을 엄밀히 증명한다. 정의된 (k)-refinement 문맥 경험 엔트로피와 비교했을 때, CDMPM 코드의 평균 비트 길이는 최적 전이 확률 모델에 의해 얻어지는 엔트로피보다 (\le C\log n) 만큼 초과한다. 여기서 (C)는 변환 파라미터 ((I,r))와 알파벳 크기에만 의존하는 상수이다. 이 결과는 기존 MPM 및 CMPM 변환이 보인 (\log n) 수준의 레드던던스와 동일하지만, 문맥 정보를 추가함으로써 실제 압축률이 개선될 가능성을 이론적으로 뒷받침한다.

핵심 기여는 다음과 같다.

• 문맥 의존성을 도입한 새로운 다단계 패턴 매칭 변환 설계.
• 변환 후 라벨 시퀀스를 효율적으로 인코딩하는 산술 코딩 절차 제시.
• 최악 경우 레드던던스가 (\mathcal{O}(\log n)) 로 제한됨을 증명, 기존 연구와 동일한 이론적 복잡도 유지.

하지만 논문에는 몇 가지 한계도 존재한다. 변환 과정이 복잡하고, 특히 레벨별 블록 재조합 및 문맥 라벨링 단계에서 구현 비용이 크게 증가할 수 있다. 또한 실험적 평가가 전혀 제시되지 않아, 실제 데이터셋에서의 압축 효율과 실행 시간에 대한 실증적 검증이 부족하다. 향후 연구에서는 알고리즘 최적화와 다양한 실제 파일 형식에 대한 벤치마크가 필요하다.

**