워크로드 스케줄러의 기원과 알고리즘 차이

초록

본 논문은 현대 워크로드 스케줄러를 운영체제 프로세스 스케줄러, 클러스터 잡 스케줄러, 빅데이터 스케줄러의 세 클래스로 구분하고, 각 클래스의 역사적 흐름과 핵심 알고리즘을 비교·분석한다. 진화 과정에서 나타난 공통 설계 목표와 클래스별 차별화된 전략을 조명하며, 로컬·분산 환경 모두에 적용 가능한 스케줄링 원칙을 제시한다.

상세 분석

논문은 먼저 워크로드 스케줄링이라는 광범위한 문제를 “시간·자원 할당 → 목표 달성”이라는 2단계 프레임워크로 재정의한다. 이 프레임워크는 운영체제 수준, 클러스터 수준, 빅데이터 플랫폼 수준에서 동일하게 적용될 수 있음을 강조한다.

운영체제 프로세스 스케줄러 섹션에서는 전통적인 라운드 로빈(RR), 우선순위 기반, 다단계 피드백 큐(MFQ)와 같은 고전 알고리즘을 시간 슬라이스와 인터럽트 처리 메커니즘 관점에서 상세히 설명한다. 특히, 최근 Linux CFS(Completely Fair Scheduler)와 Windows 10의 다중 큐 설계가 어떻게 “공정성”과 “응답성”을 동시 만족시키는지를 분석하고, 커널 레벨에서의 컨텍스트 스위치 비용 최소화 기법을 강조한다.

클러스터 잡 스케줄러 파트에서는 PBS, Slurm, HTCondor 등 배치형 시스템의 작업 큐 관리와 자원 매칭 방식을 살펴본다. 여기서는 “우선순위·공정성·자원 효율성”을 동시에 고려하는 다중 목표 최적화가 핵심이라는 점을 지적한다. 특히, Backfilling(백필링) 기법이 어떻게 대기시간을 최소화하면서도 고우선순위 작업을 보장하는지, 그리고 Fair-Share 정책이 사용자별 할당량을 동적으로 조정하는 메커니즘을 상세히 논한다.

빅데이터 스케줄러 섹션은 Hadoop YARN, Apache Mesos, Kubernetes와 같은 컨테이너·리소스 관리 프레임워크를 중심으로, “데이터 로컬리티”, “스케일 아웃”, “탄력성”을 위한 스케줄링 전략을 분석한다. 여기서는 자원 할당을 “CPU·메모리·디스크·네트워크” 네 차원으로 확장하고, DAG(Directed Acyclic Graph) 기반 워크플로우에서의 단계별 스케줄링, 그리고 사전 예측 모델(예: Spark의 DAG Scheduler)과 실시간 피드백 루프(예: Kubernetes Scheduler Extender)의 결합이 어떻게 전체 처리량과 지연 시간을 최적화하는지를 탐구한다.

세 클래스 간 차이점을 비교할 때, 논문은 “스케줄링 시점(실시간 vs. 배치)”, “자원 추상화 수준(코어 vs. 노드 vs. 파드)”, “알고리즘 복잡도와 구현 비용”을 주요 구분 축으로 제시한다. 또한, 공통적으로 등장하는 “공정성(Fairness)”, “우선순위(Preemption)”, “자원 이용 효율(Resource Utilization)”이라는 설계 목표가 서로 다른 구현 체계에서 어떻게 변형되는지를 체계적으로 정리한다.

마지막으로, 논문은 미래 워크로드가 클라우드·엣지·IoT 환경으로 확산됨에 따라, 멀티클라우드·멀티테넌시 상황에서의 스케줄링 정책 통합이 필요함을 강조한다. 이를 위해, 강화학습 기반 적응형 스케줄러와 선언적 정책 언어(예: Open Policy Agent)의 결합 가능성을 제시하며, 현재 연구의 한계와 향후 연구 방향을 제시한다.