광역 고성능 컴퓨팅을 위한 XUFS 분산 파일 시스템

초록

XUFS는 NSF TeraGrid의 9,000여 대 컴퓨팅 노드에 걸쳐 개인 작업공간을 투명하게 공유하도록 설계된 WAN 기반 분산 파일 시스템이다. 로컬 데스크톱에서 원격 파일에 직접 접근하고, 일시적인 네트워크 단절에도 데이터 손실 없이 복구하며, 기존 GPFS‑WAN 대비 동등하거나 더 높은 전송량을 제공한다.

상세 분석

XUFS는 기존 AFS, NFSv4, Coda, Decorum 등 과거 분산 파일 시스템의 설계 원칙을 계승하면서, 현대 과학자들의 워크플로우에 맞춘 몇 가지 핵심 개선을 도입한다. 첫째, “개인 이동성”을 전제하여 사용자의 로컬 워크스테이션(노트북, 데스크톱) 자체를 파일 서버로 간주한다. 이를 위해 파일 서버는 신뢰할 수 없는 가정 하에 설계되었으며, 클라이언트는 서버와의 연결이 끊겨도 로컬 캐시에서 작업을 지속할 수 있다. 둘째, 파일 메타데이터와 실제 데이터 전송을 분리한다. 메타데이터는 즉시 동기화되며, 파일 내용은 ‘마지막 닫기’ 시점에만 원격 서버에 전송되는 “write‑on‑close” 방식을 채택한다. 이는 WAN 대역폭을 효율적으로 사용하면서도 일관성을 유지한다. 셋째, 캐시 일관성은 서버‑클라이언트 간 TCP 기반 알림 콜백으로 구현된다. 원격 파일이 변경되면 서버가 클라이언트에 무효화 신호를 보내고, 클라이언트는 필요 시 최신 데이터를 다시 받아온다. 네 번째, XUFS는 libxufs.so 라는 프리로드(shared object) 라이브러리를 이용해 표준 libc 파일 시스템 호출을 가로채어 투명성을 확보한다. 사용자 애플리케이션은 수정 없이 기존 POSIX API를 그대로 사용한다. 다섯 번째, 파일 복제 정책을 사용자 정의 가능하게 하여, 대용량 시뮬레이션 결과와 같이 네트워크를 통해 복제할 필요가 없는 파일은 로컬에만 보관하도록 설정할 수 있다. 이러한 설계는 TeraGrid의 실제 사용 통계—예를 들어 90 % 이상의 바이트가 100 MB 이상 파일에 집중된다는 점—을 반영한다. 실험 결과, XUFS는 GPFS‑WAN 대비 동일 혹은 그 이상의 스루풋을 보였으며, 특히 대용량 파일 전송 시 초기 메타데이터 오버헤드가 거의 없다는 장점을 확인했다. 또한, 네트워크 장애 상황에서 클라이언트가 로컬 캐시를 이용해 작업을 지속하고, 복구 후 자동 동기화가 이루어지는 점은 과학 워크플로우의 신뢰성을 크게 향상시킨다. 전체적으로 XUFS는 고성능 WAN 환경에서 개인 데이터 접근성을 높이고, 기존 병렬 파일 시스템이 제공하지 못했던 “모바일 개인 워크스페이스”를 구현함으로써 대규모 협업과 데이터 집약적 시뮬레이션에 적합한 플랫폼을 제공한다.