예산 최적 할당으로 클라우드 GPU 성능 극대화

초록

본 논문은 클라우드에서 GPU를 임대해 머신러닝 훈련 작업을 수행하는 사용자를 위해, 고정된 예산 하에 평균 작업 완료 시간을 최소화하는 최적 스케줄링 정책인 BOA(예산‑최적 할당)를 제안한다. BOA Constrictor 시스템은 전체 GPU 수와 각 작업에 할당할 GPU 수를 동적으로 결정하며, 실험과 대규모 시뮬레이션에서 기존 휴리스틱 기반 스케줄러 대비 평균 JCT를 최대 2배까지 개선한다.

상세 분석

이 논문은 클라우드 환경에서 GPU를 임대해 ML 훈련 작업을 처리하는 고객의 두 가지 핵심 의사결정—(1) 시점별 임대할 GPU 수, (2) 현재 시스템에 존재하는 작업들에 대한 GPU 할당량—을 통합적으로 다루는 최초의 이론적·실증적 연구이다. 기존 연구는 주로 고정된 클러스터 규모에서 작업 스케줄링만을 고려하거나, 비용‑성능 균형을 직관적 휴리스틱에 의존했지만, 본 논문은 “예산‑제한 스케줄링”이라는 새로운 최적화 프레임워크를 도입한다.

핵심 모델은 다음과 같다. 작업은 서브선형·볼록 형태의 속도 향상 함수 s(k)를 갖으며, 이는 k개의 GPU를 할당받았을 때 작업이 1/s(k) 배의 시간만에 진행됨을 의미한다. 따라서 GPU 수를 늘릴수록 완료 시간은 감소하지만, GPU‑시간(비용)은 k/s(k) 배만큼 증가한다. 논문은 작업 도착 간격과 크기, 그리고 속도 향상 함수가 시간에 따라 변할 수 있는 매우 일반적인 확률 모델을 가정한다.

이러한 설정 하에서 저자들은 라그랑주 승수와 마코프 결정 과정(MDP) 분석을 결합해, 장기 평균 GPU 사용량(예산) 제약을 만족하면서 평균 작업 완료 시간(JCT)을 최소화하는 정책을 도출한다. 정책은 두 단계로 구성된다. 첫 번째는 “예산‑최적 할당(BOA) 함수”로, 현재 시스템에 존재하는 작업들의 속도 향상 함수와 예산 수준을 입력받아 각 작업에 할당할 최적 GPU 수를 계산한다. 두 번째는 “예산‑조절 메커니즘”으로, BOA 함수의 출력에 따라 전체 클러스터 규모를 조정한다. 중요한 점은 BOA 함수가 예산 파라미터에 대해 연속적이고 볼록한 형태를 가지므로, 이진 탐색이나 그라디언트 기반 방법으로 실시간에 가까운 속도로 최적값을 구할 수 있다는 것이다.

이론적 기여는 크게 세 가지로 요약된다. 첫째, 일반적인 서브선형 속도 향상 함수와 비정규 도착 과정을 허용하면서도 최적 정책이 존재함을 증명하고, 그 구조를 명시적으로 제시한다. 둘째, 동일한 모델을 이질적인 GPU(예: 다양한 메모리·연산 성능) 환경에도 확장 가능하도록 일반화했으며, 부록에서 그 증명을 제공한다. 셋째, 정책 계산을 스케줄링 실행 경로와 분리해 오프라인 최적화 단계와 경량 온라인 적용 단계로 나눔으로써, 실제 시스템에 적용 가능한 낮은 오버헤드를 보장한다.

시스템 구현은 기존 AdaptDL 프레임워크 위에 BOA Constrictor를 레이어링한 형태이며, GPU 할당 결정은 중앙 스케줄러가 주기적으로 수행한다. 구현 시 고려한 실무적 요소로는 (i) GPU 인스턴스의 최소 임대 단위가 1–2분이라는 점을 반영한 스케일링 간격 제한, (ii) 작업 선점 및 재배치 시 발생하는 재동기화 비용, (iii) 예산 초과를 방지하기 위한 “예산 버퍼” 메커니즘 등이 있다.

실험은 두 가지 축으로 진행된다. 첫 번째는 소규모 실제 클러스터(최대 32 GPU)에서 CIFAR‑10, ResNet, BERT 등 다양한 모델을 실행해 평균 JCT와 95번째 백분위수(P95) JCT를 측정한 것이다. 여기서 BOA Constrictor는 기존 Pollux 기반 자동 스케일링 대비 평균 JCT를 1.6×, P95 JCT를 2.3× 개선하였다. 두 번째는 대규모 시뮬레이터를 이용해 10 000 GPU 규모까지 확장한 시뮬레이션이며, 동일 예산 하에서 평균 JCT를 최대 2×, 동일 JCT 목표에 대해 필요한 예산을 2× 절감했다. 또한, 정책이 동적으로 변하는 속도 향상 함수와 급격한 작업 폭증 상황에서도 안정적으로 예산을 준수하면서 성능을 유지함을 보였다.

비교 대상인 Pollux는 좋은‑풋(goodput) 기반 자동 스케일링을 제안했지만, 비용‑성능 균형을 명시적으로 최적화하지 않아 BOA Constrictor에 비해 비효율적인 GPU 할당을 보였다. 저자들은 두 정책의 결정 차이를 시각화해, BOA가 작업별 속도 향상 곡선을 정량적으로 활용해 “고속‑병목” 구간에 GPU를 집중 배치하고, “저속‑병목” 구간에서는 클러스터 규모를 축소하는 반면, Pollux은 단순히 대기 작업 수에 비례해 규모를 조정한다는 점을 강조한다.

한계점으로는 (1) 현재 구현이 데이터 병렬성에만 초점을 맞추었으며, 모델 병렬성이나 멀티‑인스턴스 GPU와의 통합은 향후 작업으로 남겨두었다는 점, (2) GPU 가격 변동성(스팟 인스턴스 등)과 장기 계약 할인 모델을 고려하지 않았다는 점, (3) 정책이 가정하는 속도 향상 함수가 사전에 정확히 알려져야 하는데, 실제 환경에서는 추정 오차가 존재한다는 점을 들었다. 저자들은 이러한 제한을 보완하기 위해 온라인 학습 기반 함수 추정 및 가격‑민감형 확장 모델을 연구 중이라고 밝힌다.

전반적으로 이 논문은 클라우드 기반 ML 훈련에서 비용‑성능 트레이드오프를 수학적으로 최적화한 최초의 작업이며, 이론적 증명, 실용적 구현, 대규모 실험을 모두 제공함으로써 학계와 산업계 모두에 큰 영향을 미칠 것으로 기대된다.