빠른 위상 보존 손실 압축, 모든 임계점과 지역 순서 완전 유지

본 논문은 과학 시뮬레이션 및 관측 장비에서 생성되는 방대한 부동소수점 데이터를 효율적으로 저장하기 위한 새로운 손실 압축기 LOPC(Local‑Order‑Preserving Compressor)를 제안한다. 기존 손실 압축기들은 높은 압축 비율을 제공하지만, 일반적으로 점별 오차 한계만 보장하고 데이터의 위상 구조, 특히 인접 점들 간의 상대 크기 관계를 유지하지 못한다. 위상 보존 압축기들이 존재하지만, 대부분은 일부 임계점만을 보존하고 연산 비용이 매우 높으며, 완전한 지역 순서를 보장하지 못한다. LOPC는 두 가지 주요 목표를 달성한다. 첫째, **지역 순서(Local Order)**를 완전히 보존함으로써 모든 임계점(극소, 극대, 안장)의 위치와 유형을 그대로 유지한다. 둘째, CPU와 GPU에서 모두 높은 병렬성을 활용해 기존 위상 보존 압축기보다 수십 배 빠른 실행 시간을 제공한다. ### 1. 배경 및 정의 - **조각선형(PL) 스칼라 필드**: 정규 2D·3D 격자를 삼각형·사면체 메쉬로 분할해 각 정점에 실수 값을 저장하고, 선형 보간으로 전체 영역을 정의한다. - **임계점 정의**: 각 정점 v의 하위 링크(Lk⁻)와 상위 링크(Lk⁺)를 이용해 주변값과의 관계를 판단한다. Lk⁻이 비어 있으면 극대, Lk⁺가 비어 있으면 극소, 두 링크가 각각 하나의 연결 컴포넌트를 형성하면 일반 점, 그 외는 안장점이다. - **지역 순서**: 인접 정점 간 값의 <, > 관계. 이 관계가 유지되면 임계점이 동일하게 유지된다. ### 2. 관련 연구 - **무손실 압축기**(FPzip, ZSTD, FPCompress)는 위상 정보를 완전 보존하지만 압축 비율이 낮다. - **비위상 손실 압축기**(SZ3, PFPL)는 높은 압축 비율과 오류 보장을 제공하지만 위상 구조를 훼손한다. - **위상 보존 손실 압축기**(TopoQZ, TopoSZ, TopoA)들은 특정 임계점 쌍이나 컨투어 트리를 보존하지만, 연산 비용이 크고 보존 범위가 제한적이다. ### 3. LOPC 알고리즘 #### 3.1 양자화(Quantization) - 사용자 지정 절대 오차(ε) 혹은 정규화 절대 오차(NOA)를 사용해 각 값 x를 bin 번호로 매핑한다. bin = round(x / ε)이며, bin 크기는 ε/2로 설정해 이후 subbin 조정이 오류 범위 내에서 가능하도록 한다. - **subbin**: 같은 bin에 속하는 값들 사이에서 미세 조정을 가능하게 하는 정수 값. 예: ε=0.1이면 0.95~1.05 구간이 bin 10에 매핑되지만, subbin을 이용해 0.96, 0.99 등 실제 값에 가깝게 복원한다. #### 3.2 지역 순서 보존 단계 - 각 정점 p에 대해 (1) 동일 bin 이웃 여부, (2) 이웃이 p보다 작아야 하는지 여부를 플래그로 기록한다. - **반복적 subbin 업데이트**: 작업 리스트(worklist)를 이용해, 현재 subbin 값이 이웃보다 작지 않은 경우(즉, 순서 위반) 자신의 subbin을 이웃 중 가장 큰 subbin 값(또는 +1)으로 원자적으로 증가시킨다. 이 과정은 더 이상 변화가 없을 때까지 반복된다. - 알고리즘은 단조 증가만 허용하므로 수렴이 보장되며, 최종 subbin 값은 가능한 최소값이면서 원본 데이터와 동일한 <, > 관계를 유지한다. #### 3.3 압축 단계 - **bin 배열**: SLEEK 양자화와 PFPL의 손실 없는 압축 파이프라인(델타 인코딩, 네거바이너리 변환, 비트 셔플, 제로 바이트 제거)을 적용한다. - **subbin 배열**: LC 프레임워크를 이용해 정수 시퀀스 전용 압축기를 설계, CPU와 GPU 모두에서 병렬 압축·해제압축이 가능하도록 구현한다. - 두 배열은 서로 독립적으로 압축되며, 최종 비트스트림은 CPU와 GPU에서 동일하게 생성된다. ### 4. 구현 및 최적화 - **CPU**: OpenMP 기반 다중 스레드 구현, 메모리 접근을 최소화하기 위해 인접 정점 정보를 연속 메모리 블록에 저장. - **GPU**: CUDA 커널로 각 정점을 독립적으로 처리, 원자적 max 연산을 이용해 subbin 업데이트를 병렬화. 워크리스트 관리에 동적 파티셔닝을 적용해 부하 균형을 맞춤. - **메모리 효율**: subbin 값은 대부분 0에 가깝게 유지되므로, 런타임에 동적 비트폭 조정을 통해 압축 효율을 극대화한다. ### 5. 평가 - **벤치마크**: 8개의 최신 압축기(SZ3, PFPL, FPzip, ZSTD, TopoQZ, TopoSZ, TopoA 등)와 비교. 데이터셋은 기후 시뮬레이션, 천체 물리학, 화학 시뮬레이션 등 다양한 도메인에서 추출. - **압축 비율**: LOPC는 SZ3와 비슷하거나 약간 낮은 비율을 보였지만, 위상 보존률은 100%로 최고 수준. - **속도**: CPU 단일 스레드에서 기존 위상 보존 압축기 대비 10‑100배 빠름. GPU에서는 추가 2‑3배 가속. - **재현성**: 동일 입력에 대해 CPU와 GPU가 생성한 비트스트림이 완전히 일치, 이는 병렬 구현에서도 결정론적 결과를 보장함을 의미. - **오류 보장**: 모든 테스트에서 사용자 지정 ε를 초과하는 복원 오차가 발생하지 않음이 확인됨. ### 6. 논의 및 한계 - 현재는 정규 격자에 최적화돼 있어 비정형 메쉬에 적용하려면 전처리 단계가 필요함. - 매우 큰 차원(예: 4D 시뮬레이션)에서는 이웃 탐색 비용이 증가해 GPU 메모리 대역폭이 병목이 될 수 있음. - 압축 비율이 무손실 압축기보다 낮은 경우가 있어, 저장 용량이 극히 제한된 환경에서는 추가적인 후처리 압축(예: LZ4, ZSTD)과 결합이 필요함. ### 7. 결론 및 향후 연구 LOPC은 “지역 순서 보존 = 전역 위상 보존”이라는 핵심 아이디어를 구현함으로써, 기존 위상 보존 압축기의 속도·정확도·재현성 문제를 동시에 해결한다. 향후 연구 방향으로는 (1) 비정형 메쉬 지원, (2) 다중 정밀도(단정밀·배정밀) 통합, (3) 위상 보존을 위한 후처리(컨투어 트리 재구성, Morse‑Smale 복합체)와의 연계, (4) 대규모 클러스터 환경에서의 스케일링을 제시한다. 이러한 확장은 과학 데이터 관리와 시각화 파이프라인 전반에 걸쳐 큰 영향을 미칠 것으로 기대된다.