MAGIC 관측을 위한 고성능 분산 스토리지 시스템 구축

초록

MAGIC‑I와 곧 가동될 MAGIC‑II의 초당 1 kHz 이상 데이터 쓰기와 1 TB 수준의 야간 데이터량을 감당하기 위해 GFS 기반의 분산 파일 시스템과 다중 노드 클러스터를 도입하였다. 이 시스템은 실시간 데이터 압축·테이핑·온라인 분석·보정 등 다양한 작업을 동시에 수행하면서도 노드 장애 시 빠른 복구와 향후 확장성을 제공한다.

상세 분석

본 논문은 현재 세계 최대 반사경을 보유한 Imaging Cherenkov Telescope인 MAGIC‑I의 데이터 처리 요구사항을 상세히 분석하고, 차세대 MAGIC‑II와의 통합 운용을 목표로 설계된 고성능 스토리지 솔루션을 제시한다. MAGIC‑I는 기존 60 GeV 트리거 임계값을 25 GeV까지 낮춘 새로운 트리거 시스템을 적용함으로써 초당 1 kHz 이상의 이벤트 발생률을 달성했으며, 2 GHz 샘플링 레이트의 FADC(Flash ADC)로 인해 하루에 1 TB에 달하는 원시 데이터가 생성된다. 이러한 대용량 데이터를 실시간으로 저장하고 동시에 여러 후처리 작업을 수행하려면 전통적인 단일 서버·NAS 구조로는 I/O 병목과 확장성 한계가 발생한다.

해결책으로 저자들은 Red Hat Global File System (GFS)을 기반으로 한 클러스터 파일 시스템을 선택하였다. GFS는 다중 서버가 동일한 물리적 스토리지에 동시에 읽·쓰기 접근을 가능하게 하며, 메타데이터 일관성을 중앙 관리 노드가 아닌 분산된 락 매니저가 담당함으로써 단일 장애점(SPOF)을 제거한다. 논문에서는 8대의 데이터 수집(DAQ) 노드와 4대의 분석·보조 노드가 12 TB RAID‑6 스토리지 풀에 연결된 구성을 상세히 기술한다. 각 DAQ 노드는 1.2 kHz 이상의 지속 쓰기 속도를 보장받으며, 파일 시스템 레벨에서 제공되는 ‘write‑through’ 캐시와 동시 다중 스트리밍을 통해 데이터 손실 없이 고속 기록이 가능하다.

동시 작업 측면에서, GFS는 파일 잠금 메커니즘을 활용해 압축 프로세스가 원본 데이터를 읽는 동안에도 다른 노드가 동일 파일을 읽을 수 있게 한다. 이를 통해 압축·테이핑·온라인 분석·보정·시뮬레이션 등 5가지 이상의 파이프라인이 실시간으로 병행 실행된다. 특히 온라인 분석 서버는 이벤트 트리거 정보를 실시간으로 파싱해 품질 모니터링(QM) 그래프를 생성하고, 이상 징후가 감지되면 즉시 DAQ 파라미터를 조정하는 피드백 루프를 구현한다. 이러한 구조는 데이터 흐름을 병목 없이 유지하면서도 과학적 가치를 극대화한다.

장애 복구 메커니즘도 중요한 설계 포인트다. 클러스터 내 어느 한 노드가 전원 차단이나 네트워크 장애로 다운되면, GFS의 락 매니저가 자동으로 남은 노드에 락을 재분배하고, 손상된 노드가 복구될 때는 메타데이터와 데이터 블록을 자동 동기화한다. 실험 결과, 단일 노드 장애 상황에서도 평균 3 초 이내에 시스템이 정상 상태로 복귀했으며, 데이터 손실은 0 %에 머물렀다.

확장성 측면에서는 새로운 스토리지 유닛을 RAID‑6 어레이에 추가하고, GFS 클러스터에 새로운 노드를 등록하기만 하면 전체 시스템 용량과 처리량이 선형적으로 증가한다. 이는 향후 MAGIC‑II가 가동될 때 예상되는 2 TB/밤 이상의 데이터량을 충분히 감당할 수 있음을 의미한다. 또한, GFS는 POSIX 호환 파일 시스템이므로 기존 분석 소프트웨어를 수정 없이 그대로 사용할 수 있다는 운영상의 장점도 제공한다.

요약하면, 본 연구는 고속, 대용량 천문학 데이터의 실시간 저장·처리를 위한 분산 파일 시스템 설계와 구현 사례를 제시함으로써, 미래의 대형 관측 장비(예: CTA)에서도 적용 가능한 아키텍처 모델을 제시한다는 점에서 의의가 크다.