불확실성 관리와 확률적 그리드 스케줄링

초록

본 논문은 다중 프로젝트가 공유하는 이‑과학 그리드 클러스터에서 수집한 6개월간의 작업 로그를 기반으로, 작업 실행 시간과 메타데이터의 통계적 특성을 활용한 확률적 스케줄링 모델을 제안한다. 목표 기한과 비용 제약을 동시에 만족시키는 자동화된 스케줄러 설계를 위해, 작업 특성별 확률분포 추정, 사용자 행동 패턴 분석, 그리고 자원 이용 효율성을 평가한다. 실험 결과, 전통적인 deterministic 스케줄링에 비해 deadline miss 비율을 크게 낮추면서도 자원 활용률을 유지할 수 있음을 보인다.

상세 분석

이 논문은 그리드 컴퓨팅 환경에서 발생하는 불확실성을 통계적 방법으로 정량화하고, 이를 스케줄링 의사결정에 직접 반영하는 프레임워크를 제시한다. 먼저, 20개의 e‑Science 프로젝트가 이용하는 다목적 클러스터에서 6개월간 수집된 45,000건 이상의 작업 로그를 분석한다. 로그에는 작업 실행 시간, 요구 메모리, CPU 코어 수, 제출 시간, 사용자 ID 등 풍부한 메타데이터가 포함되어 있다. 저자들은 각 작업 유형(예: 시뮬레이션, 데이터 분석, 워크플로우)별로 실행 시간의 확률분포를 커널 밀도 추정(KDE)과 로그 정규분포 피팅을 통해 모델링한다. 특히, 동일 사용자·프로젝트가 반복적으로 제출하는 작업은 시간대별 패턴이 뚜렷해, 시계열 모델(ARIMA)로 예측 정확도를 높인다.

스케줄링 단계에서는 이러한 확률분포를 이용해 각 작업이 지정된 deadline 내에 완료될 확률을 계산한다. 목표는 “deadline 만족 확률 ≥ 0.9”와 같은 서비스 수준 협약(SLA)을 만족시키면서, 동시에 비용(예: 전력 소비, 예약된 CPU 시간) 최소화를 달성하는 것이다. 이를 위해 저자들은 다목적 최적화 문제를 확률적 제약조건을 갖는 선형/정수 프로그램으로 변환하고, 라그랑주 승수를 이용한 휴리스틱 알고리즘을 설계한다. 알고리즘은 실시간으로 클러스터의 현재 부하와 예상 작업 도착률을 반영해, 작업을 우선순위 큐에 삽입하거나 대기열로 전환한다.

실험 결과는 두 가지 주요 지표에서 기존 deterministic 스케줄러를 능가한다. 첫째, deadline miss 비율이 평균 27%에서 8%로 감소했으며, 이는 확률적 모델이 작업 실행 시간의 변동성을 효과적으로 포착했음을 의미한다. 둘째, 전체 자원 활용률은 85% 수준을 유지했으며, 전력 소비는 약 5% 절감되었다. 또한, 사용자 만족도 설문에서 92%가 새로운 스케줄러가 제공하는 예측 가능성을 긍정적으로 평가했다.

이 논문이 제시하는 접근법은 그리드뿐 아니라 클라우드와 엣지 컴퓨팅에서도 적용 가능하다. 작업 특성에 대한 사전 통계 모델링과 SLA 기반 확률적 제약조건을 결합함으로써, 자원 할당의 유연성을 확보하고 서비스 품질을 보장한다는 점에서 향후 자율형 자원 관리 시스템 설계에 중요한 시사점을 제공한다.