이질적 데이터 환경에서 딥 Q학습 기반 ETL 스케줄링 최적화

초록

본 논문은 이질적인 데이터 소스와 이기종 클러스터 환경에서 ETL 작업의 스케줄링 효율성을 높이기 위해 딥 Q‑러닝을 활용한 프레임워크를 제안한다. 작업 의존성, 노드 부하, 데이터 흐름을 상태로 정의하고, 다목표 보상 함수를 통해 지연 시간 감소, 처리량 증가, 자원 활용도 향상을 동시에 달성한다. 실험 결과, 기존 강화학습 기반 스케줄러와 비교해 평균 스케줄링 지연을 20 % 이상 줄이고, 처리량을 10 % 이상 개선하였다.

상세 분석

이 논문은 ETL 파이프라인의 스케줄링 문제를 마코프 의사결정 과정(MDP)으로 모델링하고, 고차원 상태공간을 효과적으로 탐색하기 위해 Deep Q‑Network(DQN)를 적용한다. 상태 표현은 작업 큐, 자원 이용률, 데이터 의존성 세 부분으로 분해되며, 각각을 임베딩 네트워크를 통해 고차원 벡터로 변환한다. 특히 작업 의존성 토폴로지를 그래프 기반 인코딩으로 처리하고, 노드 부하와 네트워크 대역폭을 실시간으로 피드백 받아 상태에 반영함으로써 전통적인 규칙 기반 스케줄러가 놓치기 쉬운 동적 상호작용을 포착한다. Q‑값 추정은 현재 네트워크와 타깃 네트워크를 분리해 업데이트함으로써 학습 안정성을 확보하고, Bellman 오차 최소화를 위한 손실 함수에 정규화된 보상을 포함한다. 보상 함수는 평균 스케줄링 지연(ASD), 작업 완료율(TCR), 처리량(TP), 자원 사용률(RC) 네 가지 목표를 가중치 α 로 조합한 다목표 형태이며, 각 목표는 정규화 상수로 스케일을 맞춘다. 이를 통해 에이전트는 단기 지연 최소화와 장기 자원 효율성 사이의 트레이드오프를 학습한다. 실험에서는 TPC‑H 벤치마크를 다중 소스·다중 포맷 데이터 스트림으로 변형해 이질적 환경을 재현했으며, 비교 대상으로 Q‑Learning, DDQN, A3C, DDPG, SAC, PPO 등 최신 강화학습 알고리즘을 사용하였다. 결과는 제안 모델이 평균 스케줄링 지연 2.43 s, 작업 완료율 95.82 %, 처리량 312.7 TPS, 보상 감소율 0.079 로 모든 지표에서 우수함을 보여준다. 또한 학습률, 할인율, 노드 수에 대한 민감도 분석을 통해 중간 수준의 학습률(1e‑4~5e‑4)과 할인율(γ≈0.9‑0.95)이 최적 성능을 이끌어낸다는 실용적인 가이드를 제공한다. 전체적으로 이 연구는 고차원 상태와 다목표 보상을 동시에 다루는 DQN 기반 스케줄링이 이질적 데이터 환경에서 실시간 ETL 작업을 효율적으로 관리할 수 있음을 입증한다.