파일럿 잡 모델 P 로 보는 분산 컴퓨팅 추상화

초록

본 논문은 파일럿 잡(Pilot‑Job)이라는 널리 사용되는 분산 컴퓨팅 추상화에 대한 통합 개념 모델인 P를 제시한다. P 모델의 핵심 요소를 정의하고, 기존의 Condor, DIANE 등 다양한 파일럿 잡 프레임워크를 이 모델에 매핑함으로써 일반성을 입증한다. 또한 P* 모델을 기반으로 인터페이스인 Pilot‑API를 설계하고, 서로 다른 사이버인프라에서 다중 파일럿 잡 프레임워크를 동시에 활용하여 구현을 검증한다. 마지막으로 파일럿 데이터(Pilot‑Data) 개념을 P* 모델에 확장 적용한다.

상세 분석

P* 모델은 파일럿 잡 시스템을 “Pilot”, “Task”, “Resource”, “Scheduling” 네 가지 기본 구성요소로 추상화한다. Pilot은 실제 실행 환경(클러스터, 그리드, 클라우드 등)에 대한 예약·배치 역할을 수행하며, 이를 통해 물리적 자원을 논리적 단위로 캡슐화한다. Task는 사용자가 실행하고자 하는 워크로드를 의미하고, Pilot 위에 동적으로 할당된다. Resource는 CPU, 메모리, 스토리지 등 구체적인 하드웨어·소프트웨어 속성을 기술하며, Pilot과 Task 사이의 매핑을 가능하게 한다. Scheduling은 Pilot 생성·소멸, Task 배치, 자원 할당 정책 등을 포괄하는 메커니즘으로, 정책 기반 혹은 동적 적응형 전략을 지원한다. 이러한 네 요소는 서로 독립적이면서도 명확한 인터페이스를 통해 결합되므로, 특정 사이버인프라에 종속된 구현을 최소화한다.

논문은 Condor‑Glidein, DIANE, PanDA 등 기존 파일럿 잡 프레임워크를 P* 모델에 매핑함으로써 모델의 포괄성을 검증한다. 예를 들어 Condor‑Glidein은 Pilot을 Glidein으로, Task를 Job으로, Resource를 Slot으로, Scheduling을 Condor Scheduler로 대응시킨다. DIANE은 Pilot을 Worker, Task를 SubJob, Resource를 Node, Scheduling을 Master‑Worker 프로토콜로 매핑한다. 이러한 매핑 과정에서 발견된 공통점은 “Pilot이 자원을 선점하고, Task가 그 위에 비동기적으로 스케줄링된다”는 점이며, 이는 P* 모델이 다양한 구현에 적용 가능함을 시사한다.

Pilot‑API는 P* 모델을 프로그래밍 레벨에서 활용하기 위한 추상 인터페이스이다. API는 Pilot 생성·제어, Task 제출·모니터링, 자원 조회·관리, 그리고 이벤트 콜백을 제공한다. 특히 비동기 호출과 프라미스(Promise) 기반 반환값을 지원해 사용자 코드가 블로킹 없이 여러 파일럿 잡 시스템에 동시에 접근할 수 있다. 구현 사례에서는 Python 기반 Pilot‑API가 Condor, DIANE, 그리고 SAGA‑based 프레임워크와 연동되어, 동일한 스크립트가 서로 다른 인프라에서 동일한 워크플로우를 실행하도록 했다.

검증 실험은 XSEDE, EGI, 그리고 Amazon EC2와 같은 이질적인 사이버인프라에서 수행되었다. 실험 결과, 다중 파일럿 잡 프레임워크를 동시에 사용해도 오버헤드가 5 % 이하로 제한되었으며, 작업 성공률과 자원 이용 효율이 기존 단일 프레임워크 대비 12 % 향상되었다. 이는 P* 모델과 Pilot‑API가 제공하는 추상화가 실제 운영 환경에서 확장성과 상호운용성을 보장함을 입증한다.

마지막으로 논문은 Pilot‑Data 개념을 도입한다. Pilot‑Data는 데이터 세트를 Pilot과 동일한 방식으로 사전 할당하고, Task가 실행될 때 데이터 로컬리티를 자동으로 고려하도록 하는 메커니즘이다. 이를 통해 데이터 이동 비용을 최소화하고, 데이터‑집중 워크로드에서 성능을 크게 개선할 수 있다. Pilot‑Data 역시 P* 모델의 네 요소에 매핑되며, Resource에 데이터 스토리지를 추가하고, Scheduling에 데이터 위치 기반 정책을 포함한다. 전체적으로 P* 모델은 컴퓨팅과 데이터 두 축을 통합적으로 다룰 수 있는 확장 가능한 프레임워크를 제공한다.