대규모 수치예보를 위한 새로운 데이터 저장 방식 탐구

초록

본 논문은 ECMWF 운영 수치예보(NWP)와 일반 HPC·AI 워크로드에 대해 객체 스토리지인 DAOS와 Ceph를 평가한다. POSIX 기반 Lustre와 동일 하드웨어에서 벤치마크를 수행해 성능·확장성을 비교했으며, DAOS가 전반적으로 우수한 확장성과 유연성을 보여 향후 HPC 센터에서 객체 스토리지 채택 가능성을 시사한다.

상세 분석

이 연구는 전통적인 POSIX 파일 시스템이 대규모 I/O 워크로드에서 나타내는 메타데이터 병목과 락 경합 문제를 객체 스토리지로 어떻게 완화할 수 있는지를 실증적으로 보여준다. 먼저 DAOS와 Ceph 각각에 대해 FDB(Forecast DataBase) 백엔드를 구현하고, libdaos·librados API를 활용해 데이터와 인덱스를 객체 단위로 저장한다. DAOS는 NVMe 기반 SCM(스토리지 클래스 메모리)와 직접 연동해 저지연·고대역폭을 제공하며, 객체 레벨에서의 일관성 보장을 위해 두 단계 플러시 메커니즘을 도입한다. 반면 Ceph는 RADOS 풀을 이용해 복제·소거 코딩 옵션을 조정할 수 있으나, 작은 객체 크기와 높은 동시성에서 메타데이터 서버(MDS)의 부하가 증가한다. 벤치마크는 IOR, fdb‑hammer, 실제 필드 I/O(날씨 필드 아카이브·플러시) 등 네 가지 패턴을 사용했으며, 스케일‑업 실험에서는 노드 수를 4배까지 늘려도 DAOS는 거의 선형적인 처리량 증가를 보였다. 특히 1 MiB 객체를 10 k개 이상 동시에 기록·읽기할 때 DAOS는 2.5 GB/s 이상의 지속적인 대역폭을 달성했으며, Ceph는 1.6 GB/s 수준에 머물렀다. Lustre와 비교했을 때는 메타데이터 오버헤드가 크게 감소해 파일 생성·삭제가 초당 수천 건 수준으로 향상되었다. 또한 데이터 중복성 측면에서 DAOS는 엔진‑레벨에서 erasure‑coding을 지원해 스토리지 효율을 30 % 이상 개선했으며, Ceph는 전통적인 3‑복제 방식에 비해 비용 효율이 낮았다. 이와 같은 결과는 객체 스토리지가 대규모 과학 시뮬레이션의 입출력 패턴에 자연스럽게 맞춤형 인터페이스를 제공함으로써, 기존 POSIX 파일 시스템이 갖는 구조적 한계를 극복할 수 있음을 입증한다. 다만, 애플리케이션 레이어에서 객체 API로의 전환 비용, 기존 파이프라인의 수정 필요성, 그리고 장기적인 데이터 관리 정책(예: 데이터 보존·삭제 정책) 등 운영상의 과제가 남아 있다.