고성능 크로스플랫폼 xDFS 파일 전송 프레임워크

초록

본 논문은 xDFS라는 고동시성 파일 전송 프로토콜을 소개하고, Linux와 Windows 양쪽에서 32·64비트 멀티코어 환경을 지원하도록 순수 네이티브 코드로 구현한 방법을 제시한다. xDFS는 xDotGrid.NET 기반으로 설계되었으며, 기존 그리드 파일 전송 표준인 Globus GridFTP와 성능을 직접 비교한다. 실험 결과 2 GB 파일을 디스크‑투‑디스크로 전송했을 때, 병렬 전송 여부와 관계없이 xDFS는 최소 30 %에서 최대 53 %까지 GridFTP보다 높은 처리량을 보였다. 논문은 프로토콜 오버헤드 최소화와 최적 설계 패턴 적용을 강조하며, 데이터‑집중형 그리드·클라우드 서비스에 적합한 새로운 전송 패러다임으로 xDFS를 제안한다.

상세 분석

xDFS 프로토콜은 전통적인 FTP 계열 프로토콜이 갖는 순차적 전송 구조와 높은 레이턴시 문제를 근본적으로 재설계한다. 핵심 설계는 다중 스트림(parallel stream) 기반의 파이프라인 아키텍처로, 파일을 일정 크기의 블록으로 분할하고 각 블록을 독립적인 스레드 혹은 코어에 매핑한다. 이를 위해 xDotGrid.NET이 제공하는 비동기 I/O와 이벤트‑드리븐 모델을 활용해 네트워크와 디스크 입출력 사이의 병목을 최소화한다. 구현 측면에서는 Windows의 IOCP(입출력 완료 포트)와 Linux의 epoll을 각각 네이티브 C/C++ 레이어에서 직접 호출함으로써, 가상 머신이나 관리형 런타임에 의존하지 않는 진정한 고성능을 달성한다. 또한 32비트와 64비트 바이너리를 동시에 제공함으로써 레거시 시스템과 최신 서버 모두에서 호환성을 유지한다.

성능 비교 실험에서는 동일한 하드웨어 환경(다중 코어 Xeon 프로세서, 10 GbE 네트워크, SSD 스토리지)에서 2 GB 파일을 전송하였다. GridFTP는 전통적인 TCP 스트림 하나에 의존해 전송량이 코어 수에 비례하지 못하는 반면, xDFS는 최대 8개의 병렬 스트림을 동시에 운영해 네트워크 대역폭과 디스크 I/O를 효율적으로 활용한다. 결과적으로 최소 30 %에서 최대 53 %까지 처리량이 향상되었으며, 특히 파일 크기가 커질수록 병렬화 효율이 급격히 상승한다.

논문은 또한 개발 방법론을 세 단계로 구분한다. 첫 번째 단계는 순수 C/C++ 기반의 저수준 네트워크 스택 구현으로, 프로토콜 오버헤드를 직접 측정하고 최적화한다. 두 번째 단계는 xDotGrid.NET의 추상화 레이어를 도입해 코드 재사용성과 유지보수성을 높인다. 마지막 단계는 크로스‑플랫폼 빌드 스크립트와 자동 테스트 파이프라인을 구축해 배포 효율성을 극대화한다. 각 단계의 장단점을 표로 정리하고, 특히 보안(SSL/TLS)과 인증(Kerberos) 모듈을 플러그인 형태로 제공함으로써 다양한 그리드·클라우드 환경에 쉽게 통합할 수 있음을 강조한다.

전반적으로 xDFS는 파일 전송 프로토콜 설계에서 “데이터 흐름 중심”(data‑flow‑centric) 접근을 채택함으로써, 전통적인 명령‑응답 방식보다 낮은 레이턴시와 높은 스루풋을 제공한다. 이는 대규모 과학 데이터셋, 멀티미디어 스트리밍, 그리고 클라우드 백업 등 I/O‑집중형 서비스에 직접적인 이점을 제공한다.