클라우드 기반 메타볼로믹스 확장성 분석

초록

PhenoMeNal 플랫폼을 이용해 NMR 기반 BATMAN과 파워분석 도구 PAPY를 1‑1000 vCPU 규모의 네 가지 클라우드 환경에서 테스트하였다. 강한 스케일링에서는 최대 1000 vCPU에서 4일 작업을 10분 내에 완료했으며, 효율은 약 300 vCPU 이하에서 80 % 이상 유지되었다. 약한 스케일링에서는 메모리와 네트워크 오버헤드가 제한 요인이 되었으며, PAPY는 BATMAN보다 효율 저하가 더 크게 나타났다. 비용 분석 결과 대규모 클라우드 사용이 전통적인 데스크톱 대비 경제적임을 확인하였다.

상세 분석

본 연구는 메타볼로믹스 데이터 처리에 특화된 PhenoMeNal 인프라의 확장성을 정량적으로 평가하였다. 먼저 BATMAN은 2 000개의 1‑D ¹H NMR 스펙트럼을 대상으로 200 k 데이터 포인트를 전처리하고 베이즈 모델링을 수행한다. 강한 스케일링 실험에서 vCPU 수를 1에서 1 000으로 증가시켰을 때 처리 시간은 32 000 초에서 563 초로 감소했으며, 이는 이론적 선형 가속도(속도 향상 568배)와 근접하였다. 그러나 300 vCPU를 초과하면 효율이 급격히 떨어져 80 % 이하가 된다. 이는 네트워크 트래픽, 컨테이너 오케스트레이션, 디스크 I/O가 병목으로 작용하기 때문이다. 약한 스케일링에서는 문제 크기를 vCPU 수에 비례해 늘렸을 때, 초기 구간에서는 실행 시간이 거의 변하지 않지만, 약 ⅓ 최대 vCPU(≈300 vCPU) 지점에서 급격히 증가하였다. 이는 워커 프로세스 수가 늘어나면서 스케줄러와 메시지 전달 비용이 비례적으로 증가하기 때문이다.

PAPY는 전력 및 샘플 크기 계산을 위한 반복 회귀/분류 모델을 84개의 스펙트럼에 적용한다. 강한 스케일링에서는 BATMAN과 유사하게 거의 선형에 가까운 속도 향상을 보였지만, 효율 저하가 300 vCPU에서 시작해 80 % 수준에 머물렀다. 약한 스케일링에서는 BATMAN보다 효율 감소가 더 뚜렷했으며, 500 vCPU에서 효율이 50 % 이하로 떨어졌다. 이는 PAPY가 개별 작업당 계산량이 적어 오버헤드 비중이 높아지는 구조적 한계 때문이다. 저성능 데스크톱(8 vCPU)에서는 2 CPU에서 120 s, 8 CPU에서 370 s로 효율이 30 % 수준에 머물렀다.

경제성 분석에서는 클라우드 인스턴스당 시간당 비용과 전체 실행 시간을 곱해 총 비용을 산출했으며, 대규모 클라우드(Azure, EMBASSY) 사용 시 비용이 데스크톱 대비 2‑3배 저렴했다. 이는 짧은 실행 시간과 자동화된 리소스 할당이 인건비와 전력 비용을 크게 절감하기 때문이다. 또한 PhenoMeNal이 Docker와 Kubernetes 기반으로 포팅 가능해 다양한 공공·민간 클라우드에 동일하게 배포될 수 있다는 점이 재현성과 유지보수 측면에서 큰 장점으로 작용한다.

전체적으로 PhenoMeNal은 메타볼로믹스 워크플로우를 대규모 병렬 처리 환경에 성공적으로 적용했으며, 강한 스케일링에서 거의 선형 가속을 달성했다. 효율 저하 구간은 주로 네트워크와 오케스트레이션 오버헤드이며, 이를 최소화하기 위한 전략으로는 작업당 계산량 증대, 워커 수 제한, 고성능 스토리지 활용 등이 제시된다. 이러한 결과는 향후 메타볼로믹스 연구에서 빅데이터 분석을 클라우드 기반으로 전환하는 데 실질적인 지침을 제공한다.