생물의학 논문에 첨부된 Jupyter 노트북의 대규모 재현성 평가

초록

본 연구는 PubMed Central에 수록된 3,467편의 생물의학 논문에서 언급된 27,271개의 Jupyter 노트북을 자동 파이프라인으로 수집·분석하고, 15,817개의 파이썬 노트북(의존성 파일 포함)을 재실행하여 재현성을 평가하였다. 전체 중 1,203개(≈5.5%)만 오류 없이 실행되었으며, 그 중 879개는 원본 결과와 일치했다. 주요 실패 원인은 의존성 선언 부족, 패키지 버전 변동, 실행 환경 차이 등이다.

상세 분석

본 논문은 두 단계의 자동화된 워크플로우를 설계하여 Jupyter 노트북의 재현성을 정량화한다. 첫 번째 단계에서는 PubMed Central(PMC) 전체 XML을 대상으로 “ipynb OR jupyter OR ipython”와 “github” 키워드 조합으로 검색해 27,271개의 노트북을 식별하고, 해당 노트북이 포함된 GitHub 저장소 2,660개를 추출한다. 두 번째 단계에서는 파이썬 기반 노트북 중 requirements.txt 혹은 environment.yml 등 표준 의존성 파일을 갖춘 15,817개를 대상으로 Conda 환경을 자동 생성하고, 선언된 모든 패키지를 설치한다. 이 과정에서 10,388개의 노트북이 의존성 설치에 성공했으며, 이후 nbconvert와 nbdime을 이용해 셀별 실행을 재현하고 출력 차이를 비교한다.

재현 성공률은 전체 대비 4.6%에 불과했으며, 성공한 1,203개 노트북 중 879개는 원본과 동일한 결과를 산출했다. 실패 원인은 크게 세 가지로 구분된다. 첫째, 의존성 선언이 부정확하거나 누락돼 설치 단계에서 오류가 발생한다(약 55%); 둘째, 패키지 버전이 최신 레포지토리와 호환되지 않아 런타임 에러가 발생한다(약 30%); 셋째, 외부 데이터 소스(예: 웹 API, 데이터베이스) 접근이 제한되거나 데이터가 사라져 재현이 불가능했다(약 15%). 또한, 노트북 내부에 하드코딩된 경로, 무작위 시드 미설정, GPU 전용 코드 등 환경 의존성이 높은 구현이 재현성을 저해한다는 점을 강조한다.

통계적으로는 최신 연도(2022‑2023) 논문이 이전 연도에 비해 의존성 선언 비율이 약 12% 상승했지만, 전체 재현 성공률은 크게 개선되지 않았다. 저자들은 재현성을 높이기 위한 구체적 권고사항을 제시한다. 첫째, requirements.txt 혹은 environment.yml 파일을 반드시 포함하고, 패키지 버전을 고정(pinned)한다. 둘째, 데이터와 코드를 동일한 Docker 혹은 Singularity 이미지에 캡슐화해 실행 환경을 보존한다. 셋째, 노트북 상단에 실행 순서와 재현성을 보장하는 메타데이터(예: nbdev, papermill 파라미터)를 명시한다. 마지막으로, 피어 리뷰 단계에서 자동화된 재현성 검증 도구를 활용해 저널 편집자가 사전에 오류를 탐지하도록 제안한다.

이 연구는 대규모 텍스트 마이닝과 자동 실행 파이프라인을 결합해 생물의학 분야에서 Jupyter 노트북의 실제 재현성을 최초로 정량화했으며, 향후 연구 재현성 정책 수립에 중요한 근거 자료를 제공한다.