마법 데이터 센터의 현재와 미래

초록

**
MAGIC I 텔레스코프는 연간 약 100 TB의 원시 데이터를 생성하며, 현재는 라팔마 현장에서 교정·축소 후 스페인 바르셀로나의 PIC에 저장·처리된다. MAGIC II 가동으로 데이터량이 3배 증가할 예정이며, 이를 감당하기 위한 인프라 확장과 고수준 데이터 제품 생산을 위한 새로운 분석 소프트웨어 개발이 진행 중이다.

**

상세 분석

**
MAGIC I 텔레스코프는 대형 입자 물리 실험과 유사한 규모의 데이터 흐름을 가지고 있다. 연간 100 TB에 달하는 원시 데이터는 광전관(Photomultiplier) 신호를 디지털화한 후, 현장에서 기본 교정(calibration)과 초기 축소(reduction)를 수행한다. 이 과정에서 전압, 온도, 트리거 설정 등 관측 조건에 따라 데이터 포맷이 변동될 수 있어, 일관된 메타데이터 관리가 필수적이다.

관측 후 데이터는 라팔마의 현장 서버에서 포털 d’Informació Científica(PIC)로 전송된다. PIC는 LHC 스페인 Tier‑1 그리드 센터와 동일한 하드웨어·소프트웨어 스택을 공유하므로, 대용량 스토리지(다중 페타바이트 수준)와 고성능 컴퓨팅(수천 코어) 자원을 활용해 전체 협력자가 동일한 데이터에 접근하고 병렬 처리 파이프라인을 실행할 수 있다. 현재 파이프라인은 다음과 같이 구성된다.

1. 데이터 수집 및 전송 – 고속 광섬유 링크를 이용해 원시 파일을 복제하고, 체크섬 검증을 통해 전송 오류를 방지한다.
2. 메타데이터 인제스트 – 관측 시간, 방위, 기상 정보, 트리거 설정 등을 데이터베이스에 기록한다. 이는 이후 분석 단계에서 조건별 필터링에 핵심 역할을 한다.
3. 교정·축소 – 전압 보정, 광전관 이득 보정, 배경 노이즈 제거 등을 수행하고, 이벤트 레벨에서 이미지 파라미터(히스, 롱리티드 등)를 추출한다.
4. 고수준 제품 생성 – 에너지 스펙트럼, 소스 위치 지도, 시간 변동성 분석용 파일 등을 자동으로 생성한다.

MAGIC II가 가동되면 두 개의 텔레스코프가 동시에 관측하는 스테레오 모드와 단일 모드(모노) 모두를 지원해야 한다. 이는 데이터 구조가 복잡해지고, 트리거 조합이 다양해짐을 의미한다. 따라서 기존 파이프라인을 그대로 확장하면 처리 지연과 저장 비용이 급증한다. 저자들은 이를 해결하기 위해 다음과 같은 전략을 제시한다.

• 스케일러블 스토리지 아키텍처 – 객체 스토리지와 파일 시스템을 혼합해, 빈번히 접근되는 최신 데이터는 SSD 기반 캐시, 장기 보관 데이터는 저비용 HDD 풀에 배치한다.
• 동적 워크플로우 엔진 – 조건부 트리거(예: 특정 에너지 범위, 특정 관측 모드)마다 맞춤형 분석 모듈을 자동 선택하도록 DAG(Directed Acyclic Graph) 기반 워크플로우를 설계한다. 이는 그리드와 클라우드 자원을 효율적으로 할당한다.
• 표준화된 메타데이터 스키마 – IVOA(International Virtual Observatory Alliance) 표준을 채택해, 향후 유럽 가상천문관측망(EVO)과의 연동을 용이하게 만든다.

또한, 고수준 데이터 제품을 국제 가상천문관측망에 제공하기 위해서는 FITS 포맷 메타데이터와 서비스 API(SSAP, TAP 등)를 구현해야 한다. 이를 통해 외부 연구자가 MAGIC 데이터에 직접 질의하고, 다중 파장 관측과 결합한 과학적 인사이트를 도출할 수 있다. 전체 프로젝트는 데이터 증가율(연 3배)과 협업 규모 확대를 감안했을 때, 5년 내에 1 PB 수준의 스토리지와 연간 10 000 CPU 코어·시간을 확보하는 것을 목표로 한다.

**