컴퓨팅 클러스터 환경에서의 동적 작업 스케줄링

초록

본 논문은 클러스터 내 노드들의 부하를 균등하게 분산시키기 위해, 하이퍼그리드 모델을 기반으로 한 동적·비선점·적응형 스케줄링 알고리즘을 제안한다. 차원 k 인 하이퍼그리드를 차원 k‑1 그리드로 재귀적으로 분할하고, 최적 차원을 선택해 전체 노드가 거의 동일한 부하를 갖도록 한다. 시뮬레이션을 통해 알고리즘의 효율성과 임계점(하한) 트리거 조건을 검증하였다.

상세 분석

제안된 알고리즘은 기존의 중앙집중식 혹은 완전 분산식 스케줄링 기법이 갖는 단점을 보완한다는 점에서 의미가 크다. 먼저, 클러스터를 ‘하이퍼그리드’라는 추상화된 구조로 모델링함으로써, 물리적 네트워크 토폴로지와 무관하게 부하 분산을 논리적으로 수행할 수 있다. 차원 k 인 그리드를 차원 k‑1 그리드로 재귀적으로 분할하는 ‘divide‑and‑conquer’ 전략은 복잡한 부하 상황을 단계적으로 단순화한다. 이 과정에서 각 단계는 지역적인 부하 균형을 달성하고, 최종적으로 1차원 그리드(즉, 개별 노드) 수준에서 거의 동일한 작업량을 할당한다.

알고리즘이 ‘동적’이며 ‘비선점(non‑preemptive)’이라는 점은 실행 중인 작업을 중단하지 않으면서도 새로운 작업이 들어올 때마다 실시간으로 재조정한다는 의미다. 이는 작업 재시작에 따른 오버헤드를 최소화하면서도 시스템 전체의 응답성을 유지한다. ‘적응형(adaptive)’ 특성은 현재 클러스터의 부하 상태와 네트워크 대역폭, 노드 성능 차이를 실시간으로 감지하고, 최적의 하이퍼그리드 차원을 선택하도록 설계되었다. 차원 선택은 시뮬레이션 기반의 비용 모델을 통해 수행되며, 차원이 높을수록 분할 단계가 많아져 오버헤드가 증가하지만, 부하 균형 효과는 커진다. 따라서 최적 차원은 시스템 규모와 작업 특성에 따라 달라지며, 논문에서는 이를 자동으로 결정하는 알고리즘을 제시한다.

또한, 논문은 알고리즘이 트리거될 수 있는 ‘임계점(lower bound)’을 수학적으로 도출하였다. 이는 클러스터 전체 부하가 특정 임계값 이하일 때는 기존 스케줄링 방식이 더 효율적일 수 있음을 의미한다. 따라서 제안된 방법은 부하가 급격히 증가하거나 불균형이 심해질 때만 활성화되어, 불필요한 재조정 비용을 회피한다.

시뮬레이션 결과는 두 가지 주요 지표—처리 시간(throughput)과 자원 활용률(utilization)—에서 기존 중앙집중식 및 완전 분산식 알고리즘을 능가함을 보여준다. 특히, 대규모 클러스터(수천 노드) 환경에서 부하 균형 효과가 두드러졌으며, 네트워크 지연이 큰 경우에도 알고리즘이 안정적으로 동작한다는 점이 강조된다.

이와 같이, 하이퍼그리드 기반의 동적 비선점 적응형 스케줄링은 클러스터 컴퓨팅에서 부하 불균형 문제를 효과적으로 해결할 수 있는 실용적인 접근법으로 평가된다.