보안 HPC 환경에서 AI 프레임워크를 컨테이너로 효율적으로 배포하기

초록

본 논문은 보안이 강화된 고성능 컴퓨팅(HPC) 시스템에서 데이터 과학자들이 익숙한 AI 프레임워크(TensorFlow 등)를 설치·운용하는 데 직면하는 제약을 분석하고, 외부 네트워크 접근 금지·관리자 권한 제한·폐쇄형 MPI·OpenMP 환경 등 특수 조건을 고려한 컨테이너 기반 해결책을 제시한다. 특히 SuperMUC‑NG 클러스터에 Charliecloud를 적용해 이미지 빌드·배포·실행 과정을 상세히 기술하고, 성능 손실이 미미함을 실험적으로 입증한다.

상세 분석

본 연구는 AI 워크로드가 HPC 시스템에 요구하는 두 가지 상충되는 요구 사항을 명확히 구분한다. 첫째, 데이터 과학자는 파이썬 기반 고수준 라이브러리와 자동 의존성 해결 메커니즘을 기대한다. 둘째, 전통적인 HPC 환경은 보안 정책에 의해 외부 레포지터리 접근이 차단되고, 시스템 관리자는 루트 권한을 제한한다. 이러한 환경에서는 소스 기반 설치가 불가능하고, MPI와 OpenMP와 같은 저수준 병렬 라이브러리는 사전 컴파일된 바이너리 형태로만 제공된다. 논문은 이러한 제약을 해결하기 위해 컨테이너 기술을 도입했으며, 특히 Charliecloud를 선택한 이유를 세 가지로 제시한다. 첫째, 사용자 네임스페이스와 파일시스템 격리를 제공하면서도 기존 배치 시스템(Slurm)과 무리 없이 통합된다. 둘째, 이미지가 호스트 파일시스템 위에 레이어 형태로 마운트되기 때문에 파일 입출력 오버헤드가 최소화된다. 셋째, 보안 감사를 위해 이미지 내부에 포함된 바이너리와 라이브러리의 해시값을 검증할 수 있다. 실험에서는 TensorFlow 2.x와 PyTorch 1.12를 각각 MPI‑enabled 버전으로 컴파일한 컨테이너를 구축하고, SuperMUC‑NG의 64노드(각 48코어) 규모에서 분산 학습을 수행하였다. 결과는 네이티브 환경 대비 2~4 % 이내의 실행 시간 증가를 보였으며, 이는 파일시스템 격리와 네트워크 네임스페이스 오버헤드가 주된 원인임을 분석한다. 또한, 컨테이너 이미지 크기를 1.2 GB 이하로 유지함으로써 스토리지 비용과 이미지 전파 시간을 크게 절감하였다. 보안 측면에서는, Charliecloud가 제공하는 사용자 레벨 루트 권한 제한과 이미지 서명 검증이 외부 악성 코드 유입을 효과적으로 차단함을 실증하였다. 마지막으로, 논문은 향후 AI 프레임워크의 자동화된 컨테이너 빌드 파이프라인 구축과, HPC 전용 파일시스템(예: Lustre)과의 최적화 연계 방안을 제시한다.