스팟 인스턴스로 비용 효율적인 가상 클러스터 구축

초록

본 논문은 오직 스팟 인스턴스만을 활용해 마감 시간이 있는 컴퓨팅 작업을 저비용으로 수행할 수 있는 자원 할당 정책을 제안한다. 작업 실행 시간 예측을 기반으로 적절한 VM 유형과 입찰 가격을 선택하고, 작업 지연·확장·새 인스턴스 요청을 동적으로 결정한다. 실제 AWS 가격 변동 데이터와 Parallel Workload Archive 트레이스를 이용한 시뮬레이션 결과, 고정 가격 인스턴스 대비 최대 60 %까지 비용을 절감하면서 마감 시간을 만족할 수 있음을 보였다.

상세 분석

이 연구는 클라우드 환경에서 스팟 인스턴스의 가격 변동성과 가용성 불확실성을 동시에 활용하는 새로운 자원 프로비저닝·스케줄링 프레임워크를 설계한다. 핵심 아이디어는 작업별 런타임을 정확히 추정함으로써, “시간당 비용 대비 성능”이 가장 높은 인스턴스 유형을 선택하고, 인스턴스 입찰가를 적절히 설정해 out‑of‑bid 상황을 최소화하는 것이다. 논문은 다음과 같은 기술적 기여를 제공한다.

1. 시스템 아키텍처: Broker와 Cloud Manager 두 계층으로 구성된 모델을 제시한다. Broker는 작업 수신, 런타임 예측, VM 할당·확장·해제 등을 담당하고, Cloud Manager는 실제 스팟 인스턴스 요청·해제·청구를 수행한다. 이 구조는 기존의 하이브리드 클러스터(로컬+클라우드)와 달리 완전 클라우드‑전용 가상 클러스터를 구현한다.

2. 런타임 예측 메커니즘: 사용자가 제공한 추정치의 부정확성을 보완하기 위해, 과거 동일 사용자·유사 작업의 평균 실행 시간, 선형 회귀, 그리고 간단한 히스토리 기반 평균 등 여러 추정 방법을 비교한다. 실험 결과, 가장 단순한 “최근 두 작업 평균” 방식조차도 비용 절감에 크게 기여한다는 점을 강조한다.

3. 동적 VM 할당 알고리즘: Algorithm 1은 스케줄링 주기마다(10 초) 수행되는 일련의 절차를 상세히 정의한다. 주요 단계는 (가) 현재 대기 작업 리스트에 새 작업 삽입, (나) 각 인스턴스 유형별 예상 런타임 계산, (다) 현재 아이들 VM에 할당 시도, (라) 마감 시간 여유에 따라 작업 연기 여부 판단, (마) 기존 VM 연장 vs 신규 VM 요청 비용 비교, (바) 연기된 작업을 아이들 VM에 재배치, (사) 작업 완료 시점에 보정·재스케줄링 이벤트 트리거 등이다. 이 흐름은 “시간당 비용 최소화 + 마감 시간 보장”이라는 두 목표를 동시에 만족하도록 설계되었다.

4. 가격·성능 비율 활용: EC2 스팟 인스턴스는 유형마다 ECU(Compute Unit)와 메모리 구성이 다르고, 가격 변동 폭도 상이하다. 논문은 가격‑성능 비율이 시간에 따라 변동하는 현상을 관찰하고, 특정 시점에 고성능(예: c1.xlarge) 인스턴스가 저렴해지면 해당 유형을 우선 선택하도록 정책을 조정한다. 이는 작업이 충분히 병렬화될 수 있을 경우, 더 적은 수의 고성능 VM으로 전체 실행 시간을 크게 단축시키는 효과를 만든다.

5. 실험 설계 및 결과: 실제 AWS 스팟 가격 로그와 Parallel Workload Archive의 워크로드 트레이스를 사용해 24 시간 시뮬레이션을 수행했다. 비용 절감률은 평균 45 %였으며, 최악의 경우에도 30 % 이상 절감되었다. 또한, 런타임 예측 오차가 클수록(특히 과소 추정) 마감 실패율이 상승하고, 과대 추정 시에는 불필요한 VM 확보로 비용이 증가한다는 트레이드오프를 정량화했다.

6. 한계와 향후 과제: 현재 모델은 단일 클라우드 제공자(AWS)와 고정 입찰 전략에 국한된다. 다중 제공자 간 가격 차이, 스팟 인스턴스의 가용성 예측, 그리고 체크포인팅·복구와 같은 장애 복구 메커니즘을 통합하면 더욱 견고한 시스템이 될 것이다. 또한, 실시간 가격 예측 모델(예: 시계열 딥러닝)과 결합하면 입찰가 설정을 자동 최적화할 수 있다.

전반적으로 이 논문은 스팟 인스턴스만으로도 마감이 있는 대규모 컴퓨팅 워크로드를 경제적으로 처리할 수 있음을 실증적으로 보여주며, 런타임 예측과 비용‑성능 비율 기반 의사결정이 핵심 성공 요인임을 강조한다.