그리드 미들웨어를 위한 객체 저장소 연동 Shim 기술

초록

본 논문은 Ceph 객체 저장소를 XRootD와 GFAL2와 같은 그리드 미들웨어에 연결하는 Shim 및 플러그인 구현을 소개하고, 실험 환경에서의 성능 평가와 표준 URI 설계 문제를 논의한다.

상세 분석

이 연구는 전통적인 그리드 스토리지 엘리먼트(SE)가 POSIX‑like 파일 시스템 인터페이스에 의존하는 반면, 최신 객체 저장소는 메타데이터와 데이터가 완전히 분리된 플랫 네임스페이스를 제공한다는 근본적인 차이를 짚는다. Ceph는 RADOS 라는 저수준 객체 인터페이스와 CRUSH 알고리즘을 통해 데이터 배치를 자동화하고, erasure coding을 통해 복제 비용을 크게 절감한다. 그러나 기본 rados 라이브러리는 객체 단위의 스트리핑을 지원하지 않아 대용량 물리 데이터(수 GB 규모) 저장 시 효율이 떨어진다. 이를 보완하기 위해 radosstripper 라이브러리를 도입해 객체를 다수의 청크로 분할하고, 각 청크를 별도 객체로 관리한다. 이 청크 기반 접근법은 XRootD‑Ceph 플러그인(Ponce)에서 활용되어, 기존 CASTOR 기반 스토리지와 비교 실험을 수행한다.

실험 결과는 초기 설정에서 Ceph‑based 시스템이 전송 속도 면에서 2 order of magnitude 정도 느리다는 문제를 드러냈다. 원인 분석 결과, XRootD‑Ceph 플러그인의 비동기 I/O 세그먼트 크기가 지나치게 작고, 10‑way 병렬 전송이 비활성화된 것이 주요 병목이었다. 세그먼트 크기를 확대하고 클라이언트 설정에서 병렬성을 명시적으로 활성화하면 Ceph 풀의 I/O 용량을 충분히 활용할 수 있었으며, 이후 릴리즈에 해당 수정이 반영되었다.

또한, GFAL2 레이어를 통한 통합 접근을 위해 URI 표준 준수 여부를 검토했다. 기존 Ponce 플러그인의 pseudo‑URI는 authority 부분에 스트라이프 정보 등을 삽입해 RFC 3986을 위반한다. 연구팀은 이를 보완하기 위해 두 가지 스키마(rados, radosstripper)와 두 가지 표현 방식(pseudoURI, RFC‑compliant URL)을 정의하고, 경로 정규화 로직을 구현했다. 이는 GFAL2가 문자열 기반 플러그인 매핑을 수행하는 구조적 한계에도 불구하고, 최소한의 파싱으로 객체 식별자를 일관되게 생성하도록 설계되었다.

전체적으로 이 논문은 객체 저장소와 그리드 미들웨어 간의 기술적 간극을 Shim과 플러그인이라는 실용적 방법으로 메우고, 성능 최적화와 표준 호환성 문제를 동시에 해결한 사례를 제시한다. 향후 대규모 과학 데이터 관리에서 객체 저장소 기반 아키텍처가 점차 확대될 가능성을 뒷받침한다.