에지·클라우드 융합 과학 워크플로우를 위한 시간 기반 데이터 배치 최적화

초록

본 연구는 에지 컴퓨팅과 클라우드 컴퓨팅을 결합한 과학 워크플로우 환경에서 데이터 전송 시간을 최소화하기 위해, 유전 알고리즘 연산자를 도입한 이산 입자 군집 최적화(GA‑DPSO) 기법을 제안한다. 대역폭, 에지 데이터센터 수, 저장 용량 등 실제 네트워크 제약을 모델에 반영하여, 전통적인 부하 균형 방식보다 데이터 배치 효율을 크게 향상시켰음을 실험을 통해 입증한다.

상세 분석

이 논문은 과학 워크플로우가 요구하는 대용량 데이터셋이 서로 다른 지리적 위치에 분산된 클라우드 데이터센터에 저장되어 있는 전형적인 상황을 출발점으로 삼는다. 이러한 환경에서는 작업 간 데이터 이동이 빈번히 발생해 네트워크 대역폭에 크게 의존하게 되며, 전송 지연이 전체 워크플로우 실행 시간의 병목이 된다. 저자는 에지 컴퓨팅을 도입해 데이터 전송 거리를 물리적으로 단축하고, 프라이빗 데이터에 대한 고정 저장 방식을 제공함으로써 지연을 감소시킬 수 있음을 강조한다. 그러나 에지 노드의 저장 용량이 제한적이라는 근본적인 제약이 존재한다는 점을 간과해서는 안 된다.

이에 대한 해결책으로 제시된 것이 ‘GA‑DPSO’ 알고리즘이다. 기본적인 이산 입자 군집 최적화(DPSO)는 입자(해)들이 현재 위치와 최적 위치 사이를 확률적으로 이동하며 전역 최적해를 탐색한다. 하지만 전통적인 DPSO는 탐색 초기에 빠르게 수렴하는 경향이 있어 지역 최적에 머물 위험이 있다. 이를 보완하기 위해 저자는 유전 알고리즘의 교차(crossover)와 변이(mutation) 연산자를 도입하였다. 교차 연산은 두 입자의 해를 부분적으로 교환해 새로운 후보 해를 생성하고, 변이는 무작위로 일부 위치를 바꾸어 다양성을 유지한다. 이러한 혼합 메커니즘은 탐색 공간을 보다 넓게 커버하면서도 수렴 속도를 크게 저하시키지 않는다.

모델링 측면에서는 데이터 배치 비용 함수를 ‘전송 시간’으로 정의하고, 다음과 같은 제약 조건을 포함시켰다. 첫째, 각 에지 데이터센터의 저장 용량을 초과할 수 없으며, 이는 0‑1 배치 변수와 선형 제약식으로 표현된다. 둘째, 클라우드와 에지 사이, 에지 간의 대역폭 차이를 가중치로 반영해 실제 네트워크 상황을 시뮬레이션한다. 셋째, 워크플로우의 작업 순서와 데이터 의존성을 고려해, 특정 데이터가 동시에 여러 작업에 필요할 경우 중복 저장을 허용하거나 최소화하는 전략을 선택한다.

실험에서는 대표적인 과학 워크플로우(예: Montage, Epigenomics)와 다양한 네트워크 토폴로지를 사용해 GA‑DPSO와 기존 부하 균형 기반 배치, 순수 PSO, 순수 GA 등을 비교하였다. 결과는 평균 전송 시간이 15 %~30 % 정도 감소했으며, 특히 에지 데이터센터 수가 증가하고 대역폭이 제한적인 시나리오에서 그 효과가 두드러졌다. 또한, 변이 확률과 교차 비율을 조절함으로써 알고리즘의 탐색 다양성을 제어할 수 있음을 보였으며, 최적 파라미터 설정 시 수렴 속도와 최종 해의 품질이 모두 향상되는 것을 확인했다.

이 논문의 주요 기여는 다음과 같다. (1) 에지·클라우드 혼합 환경에서 데이터 배치 문제를 ‘시간 기반’ 최적화 문제로 재정의하고, 실용적인 제약 조건을 모델에 포함시켰다. (2) DPSO에 GA 연산자를 결합한 하이브리드 메타휴리스틱을 설계해 전통적 메타휴리스틱의 조기 수렴 문제를 효과적으로 해결했다. (3) 다양한 실험을 통해 제안 기법이 실제 과학 워크플로우 실행 시 전송 지연을 현저히 감소시킴을 입증하였다. 향후 연구에서는 동적 워크플로우와 실시간 데이터 스트리밍을 고려한 적응형 배치 전략 및 에너지 소비 모델을 추가로 통합할 여지가 있다.