ROOT 입출력 압축 기법의 효율성 탐구와 최적화 방안

초록

본 논문은 HEP 실험에서 널리 사용되는 ROOT 파일 포맷의 압축 방식을 세 가지 관점에서 비교·분석한다. ZLIB, LZMA, LZ4 등 서로 다른 압축 알고리즘의 압축률·읽기·쓰기 성능을 정량화하고, 이벤트 단위로 개별 압축하는 Random Access Compression(RAC)과 외부 파일시스템 기반 압축(SquashFS)을 도입해 랜덤 접근 속도와 전체 파일 크기 감소 효과를 평가한다. 실험 결과는 압축률과 CPU 사용량 사이의 전형적인 트레이드오프를 보여주며, 사용 목적에 맞는 압축 옵션 선택 가이드를 제공한다.

상세 분석

ROOT는 HEP 데이터 저장에 특화된 C++ 기반 프레임워크로, 데이터 구조를 TTree·TBranch·TBasket 형태로 계층화하고 각 버킷을 기본적으로 ZLIB(DEFLATE) 알고리즘으로 압축한다. 논문은 먼저 ZLIB, LZMA, LZ4 세 압축 라이브러리를 동일한 CMS 파일(6.4 GB, 6500 이벤트) 에 적용해 압축률, 압축·해제 시간, 최종 파일 크기를 측정한다. ZLIB‑1은 압축 속도가 빠르지만 압축률은 1.79배에 머물고, LZMA‑9는 압축률 5.29배로 최고이지만 압축·해제 모두 수십 초가 소요된다. LZ4HC‑5는 ZLIB‑1과 비슷한 압축률(1.75배)에도 불구하고 해제 시간이 13 % 수준으로 크게 우수했다. 즉, 압축률을 크게 포기하지 않으면서도 CPU 부하를 크게 낮출 수 있는 옵션이 존재한다는 점을 확인한다.

다음으로 제안된 Random Access Compression(RAC)은 기존 TBasket 전체를 한 번에 압축하는 대신, 각 이벤트를 독립적으로 압축한다. 이 방식은 작은 이벤트(TFloat, 39 B)에서 압축률이 5.09→1.77로 급감하지만, 랜덤 읽기 시 전체 버킷을 해제할 필요가 없어 CPU 시간(핫 캐시 기준)이 80 % 이상 감소한다. 반면, 큰 이벤트(TLarge, 4 MB)에서는 버킷당 하나의 이벤트만 존재하므로 압축률·읽기 성능 차이가 거의 없으며, 오히려 메타데이터 오버헤드 때문에 약간의 성능 저하가 발생한다. 실험은 또한 “cold cache”(디스크에서 직접 읽기)와 “hot cache”(메모리 캐시) 두 상황을 구분해, RAC가 IO‑bound 환경에서는 큰 이점을 제공하지만, 메모리 내에서 압축 해제가 병목이 되는 경우에는 효과가 제한적임을 보여준다.

외부 압축 실험에서는 ROOT 파일을 블록 단위로 나누어 SquashFS(내장 ZLIB‑9)로 압축한다. 블록 크기를 4 KB에서 1 MB까지 변화시켰을 때, 블록이 커질수록 압축률이 향상되지만 16 KB 이상에서는 ROOT와 거의 동등한 수준에 머문다. 읽기 워크로드(전체, 10 % 랜덤, 1 % 랜덤)를 평가하면, SquashFS는 블록 경계에 이벤트가 걸릴 경우 다중 블록을 읽어야 하는 오버헤드가 발생한다. 반면 ROOT는 필요한 버킷만 선택적으로 읽어 IO를 최소화한다. 또한, SquashFS는 커널 공간에서 압축을 해제하므로 핫 캐시 상황에서 블록 크기에 따른 읽기 시간 변화가 거의 없지만, ROOT는 사용자 공간에서 해제하므로 블록이 커질수록 CPU 비용이 증가한다.

전체적으로 논문은 압축률을 최우선으로 할 경우 LZMA‑9가 적합하지만, CPU·IO 비용을 최소화하고 실시간 분석이 중요한 경우 LZ4HC‑5 혹은 ZLIB‑1 수준의 낮은 압축률 옵션이 더 효율적임을 제시한다. 또한, 이벤트 크기가 작고 랜덤 접근이 빈번한 워크로드에서는 RAC가 큰 성능 향상을 제공하지만, 메타데이터 오버헤드와 큰 이벤트에 대한 비효율성을 고려해 선택적으로 적용해야 한다. 외부 압축은 ROOT 자체 압축과 비교해 큰 차이를 보이지 않으며, 파일 시스템 레벨에서 투명하게 적용할 수 있는 장점이 있다.