고속 전자현미경 데이터 압축을 위한 ReCoDe 기법

초록

ReCoDe는 전자 현미경에서 발생하는 대용량 원시 데이터를 실시간으로 전자 이벤트만 남겨 100배 가량 압축하는 데이터 감소·압축 체계이다. 네 단계의 감소 레벨(L1‑L4)과 다중 손실 없는 압축 알고리즘을 결합해, 온‑오프라인 재보정, 동시 손실 추정 등 다양한 후처리를 가능하게 한다.

상세 분석

본 논문은 최신 백-썬드 직접 전자 검출기의 고속 연속 촬영이 초래하는 테라바이트 규모의 원시 데이터 문제를 해결하기 위해 ReCoDe라는 데이터 감소·압축 파이프라인을 제안한다. 핵심 아이디어는 전자 입자가 검출기 센서에 통과하면서 생성되는 2차 전자 “puddle”만을 추출하고, 나머지 열·읽기 노이즈는 임계값(threshold) 기반 이진 마스크로 제거하는 것이다. ReCoDe는 네 가지 논리적 감소 레벨을 정의한다. L1은 임계값을 적용한 후 픽셀 강도값을 비트 패킹하여 완전 손실 없는 형태로 저장하고, L2는 각 puddle의 평균·최대·합계 등 요약 통계만 보존한다. L3는 강도 정보를 완전히 버리고 이진 마스크만 압축하며, L4는 puddle 중심 픽셀 하나만 남겨 가장 높은 압축률을 달성한다. 각 레벨은 서로 다른 응용에 맞춰 선택 가능하며, L1‑L3은 puddle 형태와 크기 정보를 유지해 동시 손실(coincidence loss) 추정, 백스캐터 전자 비율, 위양성 이벤트율 등을 정밀하게 계산할 수 있다.

압축 단계에서는 이진 마스크와 강도 데이터(또는 요약 통계)를 별도로 손실 없는 압축 알고리즘(예: LZ4, ZSTD 등)으로 처리한다. 이렇게 독립 압축함으로써 데이터 특성에 최적화된 압축 효율을 얻는다. 실험에서는 DE‑16 검출기의 3 GB/s 스트림을 10개의 Intel Xeon 코어로 실시간 처리했으며, 10 GbE 네트워크를 통해 NAS에 100배 압축된 파일을 저장했다. L1 단계만으로도 10배, 전체 압축까지는 25배~45배(레벨에 따라) 감소를 달성했다. 또한, 원시 데이터에 대한 재보정이 가능하도록 L1 데이터를 보관함으로써, 촬영 중 검출기 드리프트나 임계값 설정 오류를 사후에 교정할 수 있다. 이는 저용량, 저조도 실험에서 이미지 품질을 크게 향상시킨다.

ReCoDe는 향후 MHz 수준의 프레임 레이트를 갖는 CMOS 검출기에도 적용 가능하도록 설계되었으며, 데이터 양이 전자 총량에 비례하도록 함으로써 저장·전송 비용을 크게 절감한다. 공개 데이터베이스(EMPIAR)에 대한 테스트에서도 기존 압축 방식보다 2‑8배 높은 압축률을 보였으며, 이는 원시 데이터 공개와 재현성을 촉진한다. 전체적으로 ReCoDe는 고속 전자현미경 데이터 파이프라인의 병목을 해소하고, 장시간 연속 촬영을 경제적으로 가능하게 하는 실용적인 솔루션이다.