과학 워크플로우 시스템 용어 체계

초록

본 논문은 과학 워크플로우 관리 시스템(WMS)의 다양성을 정리하고, 공통된 특성을 기술하기 위한 5가지 축(워크플로우 특성, 구성, 오케스트레이션, 데이터 관리, 메타데이터 캡처)을 제시한다. 23개의 대표적인 WMS를 이 용어 체계에 따라 분류함으로써 연구자들이 요구에 맞는 시스템을 선택하는 데 도움을 준다.

상세 분석

이 연구는 지난 20년간 급격히 늘어난 워크플로우 관리 시스템들의 기능적 중복과 차별점을 체계적으로 정리하려는 시도이다. 저자들은 워크플로우 자체의 구조적 특성을 ‘워크플로우 특성’ 축에 배치하고, 실행 흐름이 태스크 중심인지 데이터 흐름 중심인지, 작업 간 결합 정도(긴밀·느슨함), 동적 변화(조건 분기·런타임 개입) 등을 세분화한다. ‘구성’ 축에서는 워크플로우 정의 방식(스크립트, API, GUI), 추상화 수준(플랫·계층·모듈형), 서브워크플로우 지원 여부 등을 구분한다. ‘오케스트레이션’ 축은 실행 엔진(런처, 리소스 매니저, 이벤트 기반)과 스케줄링 전략을 다루며, 분산·클라우드·서버리스 환경에서의 적합성을 평가한다. ‘데이터 관리’ 축은 데이터 이동 방식(파일·스트리밍·인메모리), 저장소 유형(로컬·공유·분산·복제)과 데이터 친화적 기능(그레뉼러리티, 파이프라인) 등을 포함한다. 마지막으로 ‘메타데이터 캡처’ 축은 실행 추적, 프로비넌스, 성능 모니터링, 이상 탐지와 같은 부가 정보를 어떻게 수집·제공하는지를 정의한다. 이러한 다섯 축은 서로 독립적이면서도 겹칠 수 있어, 하나의 WMS가 여러 하위 개념을 동시에 가질 수 있음을 보여준다. 저자들은 23개의 주요 WMS(예: Apache Airflow, Nextflow, Pegasus, Swift/T 등)를 선정해 각 축에 맞춰 라벨링하고, 기존 분류 체계와 비교해 용어 체계의 포괄성과 실용성을 검증한다. 결과적으로, 이 용어 체계는 기능 중심이 아닌 ‘무엇을 할 수 있는가’에 초점을 맞추어, 연구자들이 워크플로우 요구사항(예: 동적 분기, 대규모 데이터 이동, 메타데이터 요구)과 인프라 환경(HPC, 클라우드, 엣지) 사이의 매핑을 손쉽게 할 수 있게 한다. 또한, 커뮤니티 기반 합의를 통해 용어의 표준화를 시도함으로써 향후 새로운 WMS가 등장하더라도 기존 체계에 쉽게 통합될 수 있는 기반을 제공한다.