압축 데이터의 난수성 평가: 알고리즘별 통계 테스트 분석

** 본 논문은 압축 알고리즘이 생성하는 비트 스트림이 난수 생성기로서 활용될 수 있는지를 검증하기 위해, 5개의 대표적인 데이터 코퍼스(칼리포니아, 캔터베리, Maximum Compression Corpus, enwik8, HitIct)를 8가지 압축 방법(허프만 코딩, 산술 코딩, LZSS, LZW, PPMVC, WinZip 12.1, WinRAR 3.90, WinRK 3.12)으로 압축하였다. 압축 후 각 파일의 앞 1024바이트를 제거하고, 남은 데이터를 하나의 연속 파일로 병합한 뒤, NIST 800‑22와 Diehard 두 가지 통계 테스트 배터리를 적용하였다. **실험 설계** - **데이터 셋**: 총 5개의 코퍼스는 텍스트, 실행 파일, 이미지 등 다양한 형식을 포함하고 있어, 압축 알고리즘별 특성을 폭넓게 평가하려는 의도가 반영되었다. - **압축 방법**: 기본적인 엔트로피 코딩(허프만, 산술)과 사전 기반 LZ 계열(LZSS, LZW), 그리고 상용 압축기 4종을 포함해 실무에서 흔히 사용되는 구현들을 선택하였다. - **테스트 파라미터**: NIST 테스트는 2²⁰ 비트(≈1 Mbit) 길이의 시퀀스를 사용하고, 유의수준 α=0.01을 적용하였다. 각 압축 파일에 대해 958~514개의 시퀀스를 추출했으며, Diehard 테스트는 파일을 3~11개의 조각으로 나누어 실행하였다. **주요 결과** 1. **NIST Monobit 테스트**: 모든 압축 파일이 0% 통과율을 보였으며, 산술 코딩과 PPMVC만이 상대적으로 높은 성공 비율(0.7380, 0.7817)을 기록했다. 2. **전체 NIST 15 테스트**: 표 4에 따르면, 어느 파일도 전체 테스트를 통과하지 못했으며, 가장 높은 통과율을 보인 파일조차 4개의 테스트만을 통과했다. 특히 허프만과 LZW는 모든 테스트에서 실패하였다. 3. **압축 비율과 난수성**: 그래프 1·2에서 압축 비율이 높은 파일(예: WinZip, WinRAR, PPMVC, WinRK)의 0/1 비율 차이가 작고 표준편차가 낮아, “압축 비율이 높을수록 난수성에 가까워진다”는 경향을 시각적으로 확인했다. 4. **Diehard 결과**: 논문 본문에 Diehard 테스트의 구체적 p‑value가 제시되지 않았으며, 단지 “모든 파일이 평균 수준에 머물렀다”는 서술만 존재한다. **해석 및 한계** - **프리앰블 제거의 불완전성**: 압축기마다 헤더와 사전 초기화 방식이 다르기 때문에, 1024바이트를 일괄 삭제하는 것은 충분히 균일한 데이터만을 남기지 못한다. 이는 테스트 결과에 구조적 편향을 도입한다. - **샘플 크기와 통계적 파워**: NIST 권고에 비해 1 Mbit 수준의 시퀀스는 충분히 긴 시퀀스로 보기 어렵다. 작은 샘플은 P‑value의 변동성을 크게 하여, 실제 무작위성을 과소평가할 위험이 있다. - **압축 비율과 엔트로피의 구분 부족**: 압축 비율이 높다는 것은 일반적으로 데이터의 엔트로피가 낮아졌음을 의미한다(압축 효율이 좋음). 그러나 엔트로피가 낮아진 데이터가 반드시 무작위성을 갖는 것은 아니다. 실제로 압축 비율이 높은 파일이 0/1 비율이 더 균등해 보이지만, 이는 단순히 비트 패턴이 섞인 결과일 수 있다. - **Diehard 테스트 미보고**: Diehard은 NIST와 상보적인 테스트이지만, 구체적인 결과가 누락돼 있어 전체적인 평가가 불완전하다. - **결론의 과도한 일반화**: “압축 알고리즘은 난수 생성기로 부적합하다”는 결론은 실험 설계상의 제한을 충분히 고려하지 않은 채 도출된 것으로 보인다. 특정 압축기(예: PPMVC)의 출력이 일부 테스트에서 상대적으로 좋은 결과를 보였음에도 불구하고, 이를 “압축 비율이 높을수록 난수성이 향상된다”는 인과관계로 일반화하는 것은 통계적 근거가 부족하다. **향후 연구 제안** 1. 압축 전후의 비트 스트림을 동일한 길이와 동일한 초기화 조건으로 맞춘 후, 프리앰블을 완전히 제거하거나 압축기별 헤더를 별도 분석한다. 2. NIST 테스트에 권장되는 최소 100 Mbit 이상의 시퀀스를 사용하고, 여러 독립적인 샘플을 확보해 통계적 파워를 높인다. 3. 압축 비율과 엔트로피, 난수성 사이의 상관관계를 회귀 분석이나 상관 분석으로 정량화한다. 4. Diehard 외에도 TestU01와 같은 최신 테스트 배터리를 적용해 결과의 일관성을 검증한다. 5. 압축 알고리즘 내부에서 난수성을 강화하기 위한 의도적 변형(예: 압축 후 XOR 마스크, 암호화와 결합) 가능성을 탐색한다. **결론** 압축 데이터는 현재 형태로는 통계적 난수성 기준을 충족하지 못한다. 그러나 압축 비율이 높을수록 0/1 균형이 개선되는 현상은 압축 알고리즘이 데이터의 구조적 정보를 제거하면서 비트 분포를 더 균등하게 만든다는 점을 시사한다. 향후 보다 정교한 실험 설계와 통계적 검증을 통해 압축기와 난수 생성기의 결합 가능성을 탐구할 필요가 있다. **