TAIGA 실험 원시 데이터 문서화 파싱 검증을 위한 바이너리 파일 포맷 기술 언어 활용

초록

본 논문은 천체 입자 실험인 TAIGA에서 생성되는 다양한 원시 바이너리 데이터의 장기 보존과 재현성을 위해, 바이너리 파일 포맷 기술 언어를 이용해 포맷을 형식적으로 기술하고 자동 코드 생성·검증 파이프라인을 구축한 사례를 제시한다. 다섯 가지 주요 포맷에 대한 공식 사양을 작성하고, C++, Java, Python용 파서 라이브러리를 자동 생성·테스트함으로써 데이터 무결성 검증과 손상 구간 탐지를 효율적으로 수행하였다.

상세 분석

TAIGA 실험은 고에너지 우주선과 감마천문학을 동시에 탐색하는 복합 관측망으로, 각 서브시스템(예: Tunka‑133, TAIGA‑IACT, HiSCORE 등)에서 수십 테라바이트 규모의 원시 바이너리 파일이 매일 생성된다. 이러한 데이터는 원본 그대로 보존해야 재분석·재현이 가능하지만, 포맷이 문서화되지 않으면 향후 접근이 어려워진다. 논문은 이를 해결하기 위해 “binary file format description language”(BFDL)라는 메타포맷 기술을 도입한다. 구체적으로 Kaitai Struct와 BinPAC 같은 DSL을 비교·선정하고, 각 포맷의 헤더·데이터 블록 구조를 정형화된 스키마 파일(.ksy 등)로 기술한다. 스키마는 타입 정의, 비트 필드, 조건부 파싱 로직을 포함해 복잡한 압축·암호화 레이어까지 표현 가능하다. 자동 코드 생성 단계에서는 스키마를 입력으로 C++(Boost), Java(ANTLR 기반), Python(python‑struct) 파서 클래스를 생성하고, 이를 기존 데이터 처리 파이프라인에 통합한다. 성능 테스트 결과, 자동 생성된 파서는 원본 파일을 순차 읽을 때 1 GB당 0.8 초 내외의 처리 속도를 보였으며, 손상된 청크를 식별하는 검증 루틴을 통해 0.02 % 수준의 오류를 정확히 탐지했다. 또한, 포맷 사양 자체가 메타데이터 역할을 수행해 다중 실험·기관 간 데이터 교환 시 스키마 공유만으로 호환성을 확보한다는 점이 강조된다. 이 접근법은 기존에 수작업으로 관리되던 포맷 문서와 파서 코드를 일원화하고, 버전 관리와 지속 가능한 유지보수를 가능하게 만든다.