손실 없는 데이터 압축의 샘플 복잡도

초록

본 논문은 손실 없는 데이터 압축에서 “샘플 복잡도”라는 새로운 비대칭적 지표를 도입한다. 샘플 복잡도는 지정된 압축률과 초과률 확률을 동시에 만족할 수 있는 최소 블록 길이이며, 이를 통해 비대칭적(비점근적) 한계값을 정확히 분석한다. 메모리리스 소스에 대해서는 샘플 복잡도가 소스의 ½ 차수 레니 다이버전스 (D_{1/2}(P|U)) 에 비례함을 보이며, 마코프 소스와 보편적 압축에서도 동일한 레니 엔트로피율이 핵심 역할을 한다. 또한 가설 검정, 특히 동일성 검정과의 깊은 연관성을 밝혀 기존 통계·컴퓨터 과학 결과를 직접 활용한다.

상세 분석

논문은 먼저 전통적인 손실 없는 압축 이론이 “(n\to\infty)”라는 점근적 가정에 의존해 왔음을 지적한다. 실제 시스템 설계에서는 특정 오류 확률 (\epsilon) 과 압축률 (R) 를 동시에 만족하는 최소 블록 길이, 즉 샘플 복잡도 (n^*(X,\epsilon)) 가 더 실용적이다. 정의(5)에서 제시된 샘플 복잡도는 두 가지 제약을 동시에 고려한다: (i) 압축된 비트 길이가 (nR) 를 초과할 확률이 (\epsilon) 이하, (ii) 압축률 자체가 (2nR/|A|^n) 라는 정규화된 형태로 (\epsilon) 이하가 되도록 한다. 이 정규화는 압축률과 초과률을 동일한 스케일에서 비교 가능하게 만든다.

핵심 기술은 샘플 복잡도를 기존 가설 검정의 샘플 복잡도와 연결하는 것이다. 변수‑길이 압축기의 성능은 프리픽스‑프리 코드와 고정‑길이 코드의 성능과 거의 동일함을 정리 4.1·4.2에서 증명한다. 따라서 복잡도 분석을 위해서는 단순히 “(P_n(C)+|C|/|A|^n)” 형태의 테스트 오류를 최소화하는 집합 (C) 를 찾는 문제로 환원된다.

메모리리스 소스에 대해서는 정리 4.3이 가장 눈에 띈다. 여기서 샘플 복잡도는
\