FITS 바이너리 테이블 압축을 위한 타일드 테이블 규격

초록

이 논문은 FITS 이미지 압축 방식과 유사하게, 바이너리 테이블을 행 단위로 타일링하고 각 타일의 열을 개별적으로 gzip으로 압축하여 변수 길이 바이트 배열로 저장하는 규격을 제안한다. 헤더는 그대로 복사해 빠른 접근을 유지하고, 필요에 따라 열마다 다른 압축 알고리즘을 적용할 수 있다.

상세 분석

본 규격은 기존 FITS 이미지 타일 압축(White et al. 2009)을 테이블 데이터에 그대로 적용함으로써, 대용량 천문 데이터베이스에서 I/O 효율성을 크게 향상시킬 수 있다. 입력 바이너리 테이블을 동일 행 수를 갖는 여러 타일로 분할하고, 각 타일마다 열별로 독립적인 압축을 수행한다는 점이 핵심이다. 압축된 열 데이터는 FITS 표준의 가변 길이 배열(VLAs) 형태인 ‘P’ 형식으로 저장되며, 이는 각 셀에 실제 바이트 수를 기록하는 포인터와 데이터 블록을 분리해 메모리 매핑을 용이하게 만든다. 헤더 키워드는 전혀 압축되지 않아, 원본 테이블의 메타데이터에 즉시 접근할 수 있다. 현재 프로토타입은 모든 열에 gzip을 적용하지만, 규격 자체는 열 데이터 타입(정수, 실수, 문자열, 논리값 등)에 최적화된 알고리즘(예: Rice, HCOMPRESS, BZIP2 등)을 선택하도록 설계되었다. 타일 크기는 사용자가 정의 가능하며, 행 수가 많을수록 압축 비율이 상승하지만 메모리 사용량도 증가한다는 트레이드오프가 존재한다. 또한, 각 타일은 독립적인 레코드이므로 병렬 압축·해제가 가능해 다중 코어 환경에서 처리 속도를 크게 단축시킬 수 있다. 그러나 압축 효율은 열별 데이터의 통계적 특성에 크게 좌우되며, 열마다 서로 다른 압축 방식을 혼용할 경우 헤더에 알고리즘 식별자를 추가로 기록해야 하는 복잡성이 발생한다. 전체적으로 이 규격은 기존 FITS 바이너리 테이블의 호환성을 유지하면서도, 대규모 천문 관측 데이터의 저장·전송 비용을 현저히 낮출 수 있는 실용적인 방안을 제공한다.