클라우드 기반 과학 워크플로우 실행 재현을 위한 인프라 프로비넌스 수집 및 관리

초록

클라우드 환경에서 과학 워크플로우의 재현성을 확보하려면 실행 인프라의 상세 설정이 필요하다. 본 논문은 워크플로우 실행 시 클라우드 자원 구성 정보를 프로비넌스에 포함시키는 프레임워크 ReCAP을 제안하고, 다양한 매핑 기법을 통해 이 정보를 자동으로 수집·재현한다. 실험 결과, 자원 구성 차이가 워크플로우 성능에 미치는 영향을 확인했으며, 제안 기법이 성능 오버헤드 없이 인프라 정보를 확보하고 동일한 환경을 재구축함을 입증하였다.

상세 분석

본 연구는 클라우드 기반 과학 워크플로우 실행 시 발생하는 재현성 문제를 근본적으로 해결하고자 한다. 기존 프로비넌스 시스템은 워크플로우 단계와 데이터 흐름에 초점을 맞추었으나, 클라우드 자원의 동적 할당 특성 때문에 물리적·가상적 인프라 설정이 누락되는 경우가 빈번했다. 저자들은 이러한 결함을 보완하기 위해 ‘클라우드‑인식 프로비넌스(Cloud‑aware provenance)’ 개념을 도입하고, 워크플로우 매니저와 클라우드 관리 인터페이스(API) 사이에 중간 계층을 두어 자원 사양(CPU 코어 수, 메모리 용량, 스토리지 타입, 네트워크 대역폭 등)과 할당 시점·기간을 자동으로 기록한다.

핵심 매핑 접근법은 세 가지로 구분된다. 첫 번째는 정적 매핑으로, 워크플로우 정의 파일에 사전 선언된 자원 템플릿을 매핑한다. 두 번째는 동적 매핑으로, 실행 중에 클라우드 서비스가 반환하는 메타데이터를 실시간으로 캡처한다. 세 번째는 혼합 매핑으로, 정적 템플릿과 동적 메타데이터를 결합해 누락 가능성을 최소화한다. 각 매핑 방식은 서로 다른 클라우드 사용 시나리오(예: 퍼블릭 클라우드, 프라이빗 클라우드, 하이브리드 환경)에서 테스트되었으며, 성능 오버헤드가 2 % 이하로 제한되는 것을 확인했다.

실험에서는 천문학 이미지 처리 워크플로우와 신경과학 데이터 분석 파이프라인을 선택하였다. 동일한 논리적 워크플로우라도 CPU 코어 수를 2에서 8로 늘리면 전체 실행 시간이 평균 35 % 감소했으며, 메모리 할당량이 부족할 경우 작업 재시도와 데이터 재전송으로 인해 오히려 지연이 발생했다. 이러한 결과는 인프라 사양이 워크플로우 성능에 직접적인 영향을 미친다는 것을 실증적으로 보여준다.

ReCAP 프레임워크는 수집된 프로비넌스를 기반으로 ‘재현 환경 자동 구축’ 모듈을 제공한다. 사용자는 이전 실행의 프로비넌스 레코드를 선택하면, 프레임워크가 동일한 자원 사양을 갖는 가상 머신을 자동으로 프로비저닝하고, 워크플로우를 동일한 입력 데이터와 함께 재실행한다. 이 과정에서 버전 관리된 컨테이너 이미지와 스크립트도 함께 복원되어, 소프트웨어 스택 차이로 인한 재현 실패를 방지한다.

전체적으로 본 논문은 클라우드 환경에서 과학 워크플로우 재현성을 보장하기 위한 인프라‑프로비넌스 연계 메커니즘을 제시하고, 매핑 기법의 효율성 및 실제 과학 도메인 적용 가능성을 실험적으로 입증하였다. 향후 연구에서는 멀티‑클라우드 및 서버리스 환경에 대한 확장과, 프로비넌스 기반 자동 최적화(예: 비용‑성능 트레이드오프) 기능을 추가하는 방향을 제시한다.