느슨하게 결합된 페타스케일 프로그래밍을 위한 집단 입출력 모델 설계와 평가

초록

본 논문은 파일 기반 다중 작업 컴퓨팅(MTC)에서 공유 파일 시스템의 병목을 해소하기 위해, 로컬 디스크 캐시와 브로드캐스트·스캐터/갱터 방식을 활용한 집단 입출력(Collective I/O) 모델을 설계하고 블루지엔/피 슈퍼컴퓨터에 구현하였다. 합성 벤치마크와 대규모 분자 동역학 애플리케이션 실험을 통해 기존 수동 튜닝 방식 대비 입출력 처리량과 전체 실행 시간이 크게 개선됨을 보였다.

상세 분석

느슨하게 결합된 프로그래밍은 기존 과학 애플리케이션을 재코딩 없이 병렬화할 수 있다는 장점 때문에 페타스케일 환경에서 널리 활용된다. 그러나 이러한 접근은 데이터 교환을 파일 기반으로 수행하기 때문에 공유 파일 시스템에 과도한 I/O 부하가 집중된다. 특히 블루지엔/피와 같은 대규모 노드 수를 가진 시스템에서는 메타데이터 서버와 스토리지 네트워크가 포화 상태에 이르러 전체 워크플로우의 성능을 제한한다. 기존 연구들은 파일 시스템 접근을 수동으로 파티셔닝하거나, 전용 파일 서버를 두는 등 복잡한 튜닝을 통해 일시적인 속도 향상을 달성했지만, 사용자 입장에서 재현 가능하고 자동화된 솔루션이 부족했다.

본 논문이 제안하는 집단 I/O 모델은 두 가지 핵심 아이디어에 기반한다. 첫째, 각 계산 노드에 로컬 디스크(또는 메모리 기반 파일 시스템)를 캐시 계층으로 두어, 입력 파일을 사전에 로컬에 복제하고 출력 파일을 로컬에 임시 저장한 뒤 일괄 전송한다. 이는 네트워크 트래픽을 감소시키고, 파일 시스템 메타데이터 요청을 분산시켜 스케일 아웃 효과를 얻는다. 둘째, 다수의 작업이 동일한 입력 데이터를 필요로 할 경우, 전통적인 개별 복제 방식 대신 계층적 브로드캐스트 방식을 적용한다. 마스터 노드가 공통 입력을 한 번만 읽어들인 뒤, 고속 인터커넥트를 이용해 서브그룹에 전파하고, 각 서브그룹은 다시 하위 노드에 전파하는 다단계 전송 구조를 채택한다.

입력 데이터의 경우, 파일 크기와 접근 패턴에 따라 두 가지 전송 모드를 선택한다. 작은 파일은 메타데이터 오버헤드가 큰 반면, 대용량 파일은 스트리밍 전송이 효율적이다. 이를 위해 모델은 파일 크기 임계값을 동적으로 판단하고, 적절한 전송 경로(브로드캐스트 vs. 직접 스캐터)를 자동 선택한다. 출력 데이터는 작업이 종료될 때마다 로컬에 기록된 뒤, 스케줄러가 지정한 집계 노드로 집단 갱터(gather)한다. 이 과정에서 압축 및 중복 제거 옵션을 제공하여, 최종 저장소에 전달되는 데이터 양을 최소화한다.

구현 측면에서는 블루지엔/피의 파워PC와 GPFS를 활용하였다. 로컬 캐시는 각 노드에 장착된 로컬 SSD(또는 RAM 디스크)를 마운트하고, POSIX 인터페이스를 그대로 사용하도록 설계했다. 브로드캐스트와 스캐터/갱터는 MPI의 집단 통신 라이브러리를 기반으로 구현했으며, 파일 메타데이터를 최소화하기 위해 파일 이름 대신 고유 식별자를 사용하고, 파일 생성·삭제를 배치 처리한다. 또한, 작업 스케줄러와의 연동을 위해 API 레이어를 제공, 기존 스크립트 기반 워크플로우가 별도 수정 없이 모델을 활용하도록 했다.

성능 평가에서는 두 가지 벤치마크를 수행했다. 첫 번째는 인위적으로 생성한 1 KB~1 GB 크기의 파일을 수천 개의 작업에 배포하고 수집하는 합성 테스트이며, 두 번째는 실제 과학 애플리케이션인 NAMD 기반 분자 동역학 시뮬레이션이다. 결과는 입출력 단계에서 평균 4배 이상의 스루풋 향상을 보였으며, 전체 워크플로우 실행 시간은 최대 2.8배 단축되었다. 특히 공통 입력 파일이 10 GB 규모일 때, 브로드캐스트 전송이 기존 개별 복제 대비 6배 빠른 전송률을 기록했다.

이 모델의 주요 장점은 (1) 사용자에게 복잡한 파일 시스템 튜닝을 요구하지 않으며, (2) 기존 파일 기반 스크립트를 그대로 재사용할 수 있다는 점이다. 단점으로는 로컬 캐시 용량이 제한적인 경우 대용량 입력을 완전히 로컬에 저장하지 못해 추가적인 스케줄링 로직이 필요하고, 브로드캐스트 구현이 네트워크 토폴로지에 민감하다는 점을 들 수 있다. 향후 연구에서는 다계층 캐시 계층을 도입하고, 토폴로지 인식형 전송 스케줄러와 결합해 더욱 높은 확장성을 목표로 한다.