계층형 데이터 그리드에서 데이터 복제와 작업 스케줄링 성능 향상

초록

본 논문은 데이터 복제와 작업 스케줄링을 결합한 계층형 복제 전략(HRS)을 제안한다. 시뮬레이션 결과, 기존 전략 대비 평균 12% 이상의 실행 시간 감소를 보이며, 광역 네트워크 지연을 완화하고 데이터 접근 효율을 크게 향상시킨다.

상세 분석

이 연구는 데이터 집약형 그리드 환경에서 작업 지연의 주요 원인으로 데이터 전송 시간을 지목하고, 이를 완화하기 위한 두 가지 접근법—작업을 데이터가 존재하는 위치로 이동시키는 스케줄링과 데이터 복제—을 통합한다. 기존 연구들은 주로 하나의 방법에 초점을 맞추었으나, 본 논문은 계층형 구조를 활용한 동적 복제 전략(HRS)을 설계함으로써 두 방법의 시너지를 극대화한다. HRS는 그리드 내 노드를 상위·하위 계층으로 구분하고, 데이터 요청 빈도와 네트워크 대역폭, 노드 부하 등을 실시간으로 모니터링한다. 복제 결정은 파일 접근 횟수가 일정 임계값을 초과하고, 해당 파일이 상위 계층에 존재할 경우 하위 계층으로 복제하는 방식으로 이루어진다. 이때 복제 비용(전송 시간·스토리지 사용량)과 기대 이득(향후 접근 시간 절감)을 정량화한 비용-이득 모델을 적용한다. 스케줄링 측면에서는 작업이 제출될 때 필요한 데이터 세트를 파악하고, 가장 가까운 복제본이 존재하는 노드에 작업을 할당한다. 만약 복제본이 없을 경우, HRS는 즉시 복제를 트리거하고, 복제 완료 후 작업을 실행하도록 대기한다. 이러한 동적 연계는 데이터 전송을 최소화하면서도 복제 오버헤드를 제어한다. 시뮬레이션 환경은 실제 그리드 트래픽 패턴을 모델링한 100노드 네트워크이며, 비교 대상은 전통적인 중앙집중형 복제(Centralized Replication)와 무복제 스케줄링(Non‑replication Scheduling)이다. 결과는 HRS가 평균 12% 이상의 작업 완료 시간을 단축하고, 네트워크 트래픽 피크를 15% 감소시키는 것으로 나타났다. 특히, 데이터 접근이 집중되는 핫스팟 파일에 대해 복제 효율이 크게 발휘되었으며, 복제 빈도가 낮은 콜드 파일에 대해서는 불필요한 복제를 억제함으로써 스토리지 낭비를 최소화했다. 이 연구는 복제 정책이 정적이 아닌 동적으로 조정될 때, 스케줄링 효율과 전체 시스템 성능이 현저히 개선될 수 있음을 실증한다. 또한, 비용‑이득 모델을 기반으로 한 복제 트리거 메커니즘은 다양한 그리드 토폴로지와 워크로드에 적용 가능하다는 점에서 확장성을 확보한다. 다만, 복제 결정 시 임계값 설정과 모니터링 오버헤드가 시스템에 미치는 영향에 대한 추가 연구가 필요하다.