SquashFS와 Singularity를 활용한 대용량 고정 파일 데이터셋 배포

초록

본 논문은 HPC 환경에서 수백만 개 파일로 구성된 대규모 고정 데이터셋을 효율적으로 제공하기 위해 SquashFS와 Singularity를 결합한 방법을 제안한다. 읽기 전용 이미지로 압축·마운트함으로써 메타데이터 병목을 완화하고, 사용자 권한 없이도 투명한 파일 접근을 가능하게 한다. 신경영상 분야 사례를 통해 성능 향상과 배포 편의성을 입증한다.

상세 분석

본 연구는 공유형 고성능 컴퓨팅(HPC) 시스템에서 대규모 파일 집합을 다루는 전형적인 문제점을 진단한다. Lustre와 같은 분산 파일시스템은 용량과 동시 접근성을 제공하지만, 파일 수가 수백만 개에 달하면 메타데이터 서버에 과부하가 걸려 I/O 지연과 네트워크 혼잡이 발생한다. 특히 신경영상, 유전체학 등에서 흔히 사용되는 정적 데이터베이스는 읽기 전용이며, 한 번 배포된 뒤 빈번한 수정이 필요하지 않다. 이러한 특성을 활용해 저자는 두 가지 오픈소스 기술을 결합한다. 첫째, SquashFS는 파일 시스템 레벨에서 읽기 전용 압축 이미지를 생성한다. 압축률이 높고, 이미지 내부는 블록 단위로 인덱싱되므로 파일 탐색 시 메타데이터 조회가 최소화된다. 둘째, Singularity는 컨테이너 실행 시 루트 권한이 필요 없는 환경을 제공한다. Singularity 이미지 내부에 SquashFS 파일을 마운트하면, 사용자 프로세스는 마치 로컬 파일 시스템에 접근하듯 투명하게 데이터를 읽을 수 있다. 중요한 점은 이 과정이 시스템 관리자 권한을 요구하지 않으며, 기존 HPC 작업 흐름에 손쉽게 삽입될 수 있다는 것이다. 실험에서는 10 M 파일 규모의 신경영상 데이터셋을 대상으로 Lustre 직접 접근, 압축 tarball, 그리고 제안된 SquashFS‑Singularity 조합을 비교하였다. 결과는 메타데이터 조회 시간이 70 % 이상 감소하고, 전체 I/O 처리량이 1.8배 향상됨을 보여준다. 또한, 이미지 파일 자체가 30 % 정도 압축되어 저장 공간 효율도 높아졌다. 한계점으로는 현재 읽기 전용 데이터에만 적용 가능하다는 점과, 이미지 생성 시 초기 압축 비용이 존재한다는 점을 언급한다. 향후 연구에서는 쓰기 가능한 레이어를 추가하거나, 이미지 업데이트 메커니즘을 도입해 동적 데이터셋에도 확장할 방안을 제시한다.