대용량 천문 데이터 처리를 위한 타깃 인프라와 Astro‑WISE 확장

초록

타깃 인프라는 IBM GPFS 기반의 병렬 파일 시스템을 활용해 10 PB 규모의 저장소와 수천 개의 연산 코어를 제공한다. Astro‑WISE, LOFAR LTA, KIDS/VIKING, Monk, LifeLines 등 다양한 과학·AI 응용 프로그램의 데이터·메타데이터 요구를 만족시키며, 계층형 스토리지와 POSIX 호환성을 통해 장기적인 확장성과 운영 효율성을 확보한다.

상세 분석

본 논문은 천문학 및 인공지능 분야에서 발생하는 페타바이트 급 데이터와 복합적인 메타데이터 요구를 충족시키기 위해 설계된 ‘타깃’ 인프라의 전반적인 구조와 구현 방식을 상세히 분석한다. 핵심 스토리지 계층은 IBM Global Parallel File System(GPFS)을 채택했으며, 이는 서로 다른 성능·용량 특성을 가진 디스크와 테이프 풀을 하나의 논리 파일 시스템으로 통합한다. GPFS는 자동 데이터 라이프사이클 관리, 파일 복제(mirroring), 고가용성 클러스터링, 그리고 POSIX I/O 지원을 제공해 기존 Astro‑WISE와 같은 레거시 애플리케이션이 코드 수정 없이 그대로 실행될 수 있도록 한다.

타깃 인프라는 현재 10 PB 저장소와 3 220개의 CPU 코어를 보유하고 있으며, 향후 하드웨어 교체·증설 시 서비스 중단을 최소화하도록 설계되었다. 데이터 접근 패턴이 애플리케이션마다 크게 다르기 때문에, ‘핫’ 데이터는 고속 SSD·NVMe 풀에, ‘콜드’ 데이터는 저비용 테이프에 자동 이동시키는 계층형 스토리지 정책을 적용한다. 이는 대용량 이미지(GB‑TB 규모)와 수백만 개의 작은 파일(수 MB 이하) 모두에 최적화된 I/O 성능을 제공한다.

또한, 메타데이터는 Oracle 11g RAC 기반의 관계형 DBMS에 저장되며, GoldenGate를 이용해 다중 노드에 복제한다. 이는 데이터 무결성과 고가용성을 동시에 보장한다. 논문은 GPFS와 Lustre를 비교했을 때, GPFS가 상용 벤더 지원, 하드·소프트웨어 독립성, 그리고 복잡한 라이프사이클 관리 기능에서 우수함을 강조한다. 최종적으로 타깃 인프라는 과학 데이터 아카이브, AI 기반 손글씨 인식, 대규모 유전체·표현형 데이터베이스 등 다양한 워크로드를 하나의 통합 플랫폼에서 효율적으로 처리하도록 설계되었음을 확인한다.