노트북 기반 분산 워크플로우 효율 재현 시스템 NBRewind

본 논문은 노트북 기반 데이터 과학 작업이 점점 더 복잡한 분산 워크플로우를 포함하게 되면서, 코드 수정이나 파라미터 튜닝 시 전체 워크플로우를 다시 실행해야 하는 비효율성을 지적한다. 기존의 노트북 최적화 기법은 주로 단일 노드 환경에 초점을 맞추었고, 분산 워크플로우를 위한 체크포인트나 재실행 메커니즘은 저장 비용이 크거나 재현성을 보장하지 못한다는 한계가 있었다. 이러한 문제를 해결하기 위해 저자들은 NBRewind이라는 두 커널 구조 시스템을 제안한다. audit 커널은 사용자가 셀을 실행할 때마다 자동으로 증분 체크포인트를 생성한다. 이를 위해 먼저 정적 코드 분석(AST 파싱)을 통해 셀에서 읽고 쓰는 변수 집합을 식별한다. 이후 실행 중에 객체의 메모리 주소와 변수 간 별칭 관계를 추적하는 역인덱스를 구축해, 실제로 값이 변한 변수와 공유 객체를 정확히 파악한다. 이렇게 선정된 변수와 객체만을 직렬화해 저장함으로써, 전체 전역 네임스페이스를 매번 저장하는 비효율을 피한다. 분산 워크플로우가 포함된 셀에서는 audit 커널이 작업 매니저와 인터셉트한다. Dask, TaskVine, Parsl 등에서 제출되는 각 태스크의 입력 해시와 출력 메타데이터를 로그에 기록하고, 이 로그를 해시 기반 데이터 구조에 저장한다. 로그는 태스크 간 의존성을 보존하면서, 동일 입력에 대해 동일 출력을 보장하는 메모이제이션 역할을 한다. repeat 커널은 공유된 노트북 번들을 로드하고, 저장된 체크포인트와 작업 로그를 기반으로 셀 상태를 복원한다. 셀 코드가 변경되지 않은 경우, 해당 셀은 바로 이전 출력과 저장된 변수 상태를 반환한다. 코드가 변경된 경우, repeat 커널은 먼저 해당 셀의 체크포인트를 복원한 뒤, 작업 로그를 조회해 입력이 변하지 않은 태스크를 건너뛰고, 변동이 있는 태스크만 재실행한다. 이 과정에서 DAG 기반 워크플로우의 부분 무효화가 적용되어, 예를 들어 그룹‑바이‑집계와 같은 대규모 연산은 재계산되지 않는다. 시스템 설계는 기존 Jupyter/IPython 커널과 최소한의 인터페이스만 추가하도록 설계되었으며, 컨테이너화된 노트북 번들을 생성해 “backpack” 형식으로 표준화한다. 이를 통해 데이터와 환경 의존성을 외부 데이터 연합이나 국가 과학 데이터 패브릭에 저장하고, 다른 클러스터에서 동일 번들을 그대로 실행할 수 있다. 평가에서는 두 개의 실제 사례를 사용했다. 첫 번째는 Dask를 이용한 기후 시뮬레이션 데이터 로드·전처리·그룹‑바이‑집계·리스크 스코어 계산 워크플로우이며, 두 번째는 TaskVine을 활용한 유전체 데이터 분석 파이프라인이다. 실험 결과, 증분 체크포인트는 전체 실행 결과 대비 3 ~ 7 % 정도의 저장 용량만 차지했으며, repeat 커널을 통한 부분 재실행 시 전체 실행 시간의 10 % 이하(최대 2 분)만 추가 소요되었다. 또한, 다른 HPC 환경(AWS EC2, SLURM 기반 클러스터)으로 이동했을 때도 동일한 결과 파일과 메타데이터를 재현할 수 있었다. 결론적으로 NBRewind은 노트북 기반 분산 워크플로우의 반복적 개발과 협업에 필요한 효율적인 재현성을 제공한다. 증분 체크포인트와 해시 기반 태스크 메모이제이션을 결합함으로써 저장 비용과 재실행 시간을 최소화하고, 표준화된 번들 형태로 공유·배포가 가능하도록 함으로써 과학 컴퓨팅 워크플로우의 생산성을 크게 향상시킨다. 향후 연구에서는 자동화된 의존성 추론, 다양한 언어 커널 지원, 그리고 클라우드 네이티브 스케줄러와의 깊은 통합을 목표로 하고 있다.