PAQ8을 머신러닝 관점에서 해석하고 확장하기

초록

본 논문은 최신 무손실 압축기 PAQ8을 통계적 머신러닝 모델로 재구성하고, EKF 기반 2차 적응 방식을 도입해 압축 효율을 향상시킨 뒤, 텍스트 예측·게임 플레이·분류·이미지 압축 등 다양한 머신러닝 과제에 적용한 연구이다.

상세 분석

PAQ8은 2005년 Mahoney가 발표한 압축 알고리즘으로, 현재 여러 벤치마크에서 최고 수준의 압축률을 기록한다. 논문은 PAQ8을 “예측‑코딩” 프레임워크 안에서 바라보며, 핵심 구성 요소를 확률 모델링, 컨텍스트 믹싱, 적응형 가중치 업데이트 등으로 분해한다. 첫 번째 단계는 이전 심볼들의 히스토리를 기반으로 각 심볼에 대한 사후 확률을 산출하는데, 이는 전통적인 PPM(Partial Matching)과 유사하지만, PAQ8은 수십 개의 서로 다른 컨텍스트(예: 문자 n‑그램, 바이트‑레벨 해시, 이미지‑특징 등)를 동적으로 선택하고, 각각에 대해 독립적인 확률 예측기를 유지한다.

두 번째 단계는 “다중 전문가(ensemble) 믹싱”이다. 각 예측기는 로지스틱 회귀 형태의 가중치를 가지고 있으며, 이 가중치는 온라인 학습을 통해 1차 적응(단순 경사하강) 방식으로 업데이트된다. 논문은 이 1차 적응이 충분히 빠르지만, 장기적인 통계적 편향을 완전히 보정하지 못한다는 점을 지적한다. 이를 개선하기 위해 저자는 확장 칼만 필터(Extended Kalman Filter, EKF)를 도입한다. EKF는 비선형 로지스틱 모델의 파라미터를 2차 미분 정보를 활용해 보다 정밀하게 추정함으로써, 가중치 업데이트 시 학습률을 자동 조정하고, 과적합 위험을 감소시킨다. 실험 결과, EKF 기반 적응이 기존 1차 적응 대비 평균 5 % 정도의 교차 엔트로피 감소를 달성했으며, 이는 압축률 향상으로 직결된다.

세 번째로, 논문은 PAQ8을 다양한 머신러닝 작업에 전이시킨다. 텍스트 예측에서는 실시간 적응형 언어 모델로 활용해 기존 n‑gram 기반 예측기보다 낮은 퍼플렉시티를 기록했고, 게임 플레이(예: 2048, 틱택토)에서는 상태‑행동 시퀀스를 압축하면서 정책을 추정하는 메모리 효율적인 강화학습 에이전트를 구현했다. 분류 실험에서는 “PAQclass”라는 압축 기반 거리 측정기를 도입해, 텍스트와 이미지 데이터셋에서 기존 ZIP·RAR 기반 압축 분류기보다 높은 정확도를 얻었다. 마지막으로, 딥러닝으로 추출한 비지도 특징(예: 오토인코더, VAE)과 PAQ8을 결합해 손실 압축기(Lossy PAQ)를 설계했으며, 이는 PSNR‑비트당 효율에서 전통적인 JPEG·WebP 대비 경쟁력을 보였다.

하지만 몇 가지 한계도 존재한다. 첫째, PAQ8 내부 모듈 중 일부(특히 메모리 관리와 하드웨어 최적화 부분)는 여전히 “블랙박스”로 남아 있어, 이론적 분석이 어려운 상태이다. 둘째, EKF 적용은 계산 복잡도를 크게 증가시켜 실시간 압축·예측 시에는 메모리·CPU 요구량이 급증한다는 점에서 실용성에 제약이 있다. 셋째, 실험은 주로 Calgary 코퍼스와 Hutter Prize 데이터에 국한돼 있어, 대규모 웹·멀티미디어 데이터에 대한 일반화 성능은 추가 검증이 필요하다.

전반적으로 논문은 PAQ8을 머신러닝 관점에서 체계적으로 해석하고, 기존 1차 적응을 2차 EKF로 확장함으로써 압축 효율과 다양한 응용 가능성을 동시에 제시한다는 점에서 의미가 크다. 향후 연구는 EKF의 경량화, 컨텍스트 선택 메커니즘의 신경망 기반 자동화, 그리고 분산 환경에서의 PAQ8 구현 등을 통해 압축·학습 통합 프레임워크를 더욱 발전시킬 여지를 제공한다.