슈퍼컴퓨터에서 1만6천 개 윈도우 인스턴스 동시 실행

초록

본 논문은 리눅스 기반 슈퍼컴퓨터에서 Wine 호환 레이어와 LLMapReduce 프레임워크를 결합해 16 000개의 윈도우 애플리케이션을 5분 안에 동시에 시작하는 방법을 제시한다. 전통적인 가상 머신 방식보다 훨씬 빠른 시작 시간을 달성했으며, 이를 통해 윈도우 전용 시뮬레이션·머신러닝·데이터 분석 작업을 대규모 병렬 환경에서 인터랙티브하게 수행할 수 있음을 입증한다.

상세 분석

이 연구는 세 가지 핵심 기술을 융합한다. 첫 번째는 오픈소스 Windows 호환 레이어인 Wine이다. Wine은 Windows 시스템 콜과 라이브러리를 POSIX 호출로 변환해, 별도의 OS 커널을 구동하지 않고도 Windows 실행 파일을 리눅스 환경에서 거의 네이티브 수준의 성능으로 구동한다. 두 번째는 MIT Lincoln Laboratory에서 개발한 LLMapReduce이다. LLMapReduce는 입력 파일 집합을 자동으로 스캔해 SLURM 배열 작업 스크립트를 생성하고, 수천 개의 작업을 단일 배치 제출로 압축한다. 이를 통해 전통적인 직렬 잡 제출에서 발생하는 수백 밀리초 수준의 오버헤드를 크게 감소시킨다. 세 번째는 SLURM 스케줄러의 고성능 멀티스레드 코어 스케줄링 엔진이다. SLURM은 수십만 코어 규모의 클러스터에서도 낮은 지연 시간으로 작업을 할당·시작할 수 있다.

실험 환경은 MIT SuperCloud의 TX‑Green 슈퍼컴퓨터이며, 각 노드는 Intel Xeon Phi 7210(Knight’s Landing) 64코어 프로세서와 192 GB 메모리, 16 GB MCDRAM을 갖는다. 전체 648노드(총 41 472코어)에서 Wine 인스턴스를 실행했으며, 인스턴스당 1256노드까지 확장 테스트를 수행했다. 핵심 성능 지표는 두 단계로 나뉜다. 첫 번째는 중앙 Lustre 파일시스템에서 각 노드 로컬 스토리지로 실행 파일과 종속 라이브러리를 복사하는 시간이다. 병렬 I/O 설계 덕분에 복사 시간은 인스턴스 수가 16 000개에 달해도 수초 수준에 머물렀다. 두 번째는 실제 Wine 프로세스 시작 시간이다. 결과는 16 000 인스턴스를 300초(5분) 이내에 시작했으며, 이는 Azure 가상 머신(수십 초수분)이나 Eucalyptus 기반 Linux VM(수백 초) 대비 10배 이상 빠른 것이다.

이 접근법의 장점은 크게 세 가지로 요약된다. 1) 가상 머신 대비 메모리·디스크 사용량이 최소화돼 노드당 더 많은 인스턴스를 배치할 수 있다. 2) Wine이 제공하는 API 호환성 덕분에 기존 Windows 전용 소프트웨어를 수정 없이 그대로 실행할 수 있다. 3) LLMapReduce와 SLURM의 결합으로 작업 스케줄링·배포 단계가 자동화되어 사용자 개입이 거의 필요 없으며, 대규모 인터랙티브 세션을 지원한다. 한계점으로는 Wine이 아직 모든 Windows API를 완벽히 구현하지 못해 일부 복잡한 그래픽·드라이버 의존 애플리케이션은 실행이 어려울 수 있다. 또한, Xeon Phi와 같은 many‑core 아키텍처에 최적화된 설정이 필요하므로, 일반 x86‑64 클러스터에 바로 적용하려면 추가 튜닝이 요구된다.