LogPrism: 구조와 변수 통합 인코딩으로 로그 압축 혁신

초록

본 논문은 기존 “파싱 후 압축” 방식이 파싱 정확도와 압축 효율 사이에 존재하는 불일치를 야기한다는 점을 실증적으로 입증한다. 이를 해결하기 위해 구조와 변수의 상관관계를 동시에 모델링하는 Unified Redundancy Tree(URT)를 기반으로 한 LogPrism 프레임워크를 제안한다. 세 단계의 계층적 중복 마이닝과 병렬 친화적 설계를 통해 16개 벤치마크 데이터셋에서 압축 비율과 처리 속도 모두 현존 최고 수준을 달성한다.

상세 분석

LogPrism 논문은 로그 압축 연구에서 가장 근본적인 패러다임 오류, 즉 파싱과 압축을 독립적인 단계로 취급하는 “parse‑then‑compress” 흐름을 비판한다. 저자들은 9개의 최신 파서와 4개의 대표적인 파서 기반 압축기( Logzip, LogReducer, LogShrink, Denum)를 조합해 14개의 실무 로그 데이터셋에서 광범위한 실험을 수행했으며, 파싱 정확도가 높아도 템플릿이 과도하게 일반화되면 변수 스트림에 불필요한 엔트로피가 남아 압축 효율이 저하된다는 현상을 발견했다. 특히, 템플릿‑변수 간 상관관계와 로그 엔트리 내부 변수 간 상관관계를 무시하면, 기존 압축기들이 놓치는 고차원 중복 패턴이 다수 존재한다는 점을 강조한다.

이를 해결하기 위해 LogPrism은 Unified Redundancy Tree(URT)라는 계층적 데이터 구조를 도입한다. URT는 첫 단계에서 고빈도 토큰을 추출해 구조 트리를 형성하고, 두 번째 단계에서 변수 서브트리를 확장해 “구조+변수” 공동 발생 패턴을 탐색한다. 이 과정에서 빈번히 등장하는 템플릿‑변수 쌍을 하나의 코드워드로 압축함으로써 사전(dictionary) 오버헤드를 크게 감소시킨다. 세 번째 단계에서는 남은 고엔트로피 변수들을 정렬·정규화 파이프라인으로 처리해 장기 꼬리(long‑tail) 데이터를 효율적으로 인코딩한다.

또한 LogPrism은 두 가지 실행 모드를 제공한다. 기본 멀티‑청크(parallel) 모드에서는 데이터셋을 여러 청크로 나누어 병렬 처리함으로써 1.68×~43.04×의 속도 향상을 달성한다. 반면, 단일 아카이브 모드에서는 전체 로그를 하나의 URT에 통합해 전역 패턴을 최대한 탐색한다. 이 모드에서는 압축 비율이 평균 273.27% 상승하고, 최고 19.39%의 상대적 이득을 보이며, 속도는 2.62× 정도만 감소해 실용적인 수준을 유지한다.

실험 결과는 16개 데이터셋 중 14개에서 LogPrism이 최고 압축 비율을 기록했으며, 압축 비율 향상 폭은 6.12%에서 83.34%까지 다양했다. 처리량은 평균 29.87 MB/s로, 가장 빠른 경쟁자 대비 최소 1.68배, 최대 43.04배 빠른 성능을 보였다. 이러한 성능 향상은 URT가 템플릿‑변수 공동 중복을 조기에 제거하고, 잔여 고엔트로피 데이터를 효율적으로 처리하도록 설계된 덕분이다.

마지막으로 논문은 파싱‑압축 파이프라인을 공동 설계(co‑design)해야 한다는 새로운 연구 방향을 제시한다. 파서가 단순히 템플릿을 추출하는 수준을 넘어, 압축 효율을 고려한 구조‑변수 상관관계 모델링을 수행하도록 설계한다면, 로그 저장 비용을 획기적으로 낮출 수 있다. LogPrism은 이러한 통합 설계의 첫 실증 사례이며, 향후 로그 관리 시스템에 적용될 경우 저장 비용 절감과 분석 효율성 모두를 동시에 향상시킬 것으로 기대된다.