클라우드 간 하이브리드 객체·스트림 전송을 위한 통합 프레임워크 SkyHOST

초록

SkyHOST는 Skyplane 기반의 단일 제어판과 CLI를 활용해 대용량 객체 전송과 실시간 스트림 복제를 동시에 지원한다. URI‑기반 라우팅으로 소스 유형을 자동 판단하고, 구조화된 레코드(CSV·JSON)와 대용량 바이너리 파일을 각각 최적화된 파이프라인에 매핑한다. 환경 모니터링 사례와 실험을 통해 기존 전용 도구 대비 운영 복잡성을 크게 낮추면서도 경쟁력 있는 전송 속도를 입증한다.

상세 분석

본 논문은 멀티‑클라우드 환경에서 데이터 이동이 “대용량 객체 전송”과 “저지연 스트림 복제”라는 두 상이한 요구를 동시에 만족시켜야 하는 현실적 문제를 제기한다. 기존 솔루션은 Skyplane·GridFTP와 같은 고처리량 객체 전송에 특화된 도구와, Kafka·Kinesis와 같은 레코드‑단위 스트리밍에 특화된 도구로 나뉘어, 사용자는 각각을 별도로 배포·운영해야 하는 복잡성을 안고 있다. 이러한 상황은 특히 의료 영상·IoT 센서·위성 이미지 등 다양한 데이터 형식을 동시에 다루는 스마트 시티·환경 모니터링 시스템에서 병목이 된다.

논문은 먼저 관련 연구를 정리하면서, Lambda·Kappa 아키텍처·Apache Beam 같은 통합 프로그래밍 모델은 데이터 처리에 초점을 맞추고, 데이터 이동 레이어에서는 아직 통합된 프레임워크가 부재함을 지적한다. 이어서 SkyHOST의 설계 원칙을 제시한다. 핵심은 (1) Skyplane의 오버레이 네트워크와 게이트웨이 VM을 재활용해 클라우드 간 경로 최적화를 유지하고, (2) DAG 기반 연산자 모델에 “ObjectOperator”와 “StreamOperator”를 추가해 객체‑스트림·스트림‑스트림 전송을 동일한 파이프라인에서 처리한다는 점이다.

URI‑기반 라우팅은 s3://, kafka:// 등 스키마를 파싱해 적절한 연산자를 자동 선택한다. 구조화된 데이터는 CSV·JSON 파서가 레코드‑단위 마이크로 배치를 생성하고, 대용량 바이너리는 고정 청크 크기로 슬라이스한다. 전송 단계에서는 Skyplane의 멀티‑패스 라우팅과 TCP 병렬 전송을 그대로 적용해 대역폭 활용도를 극대화한다. 또한, 스트림 전송 시에는 Kafka Connect‑style 커넥터를 내장해 소스와 싱크 간 오프셋 관리·재시도 로직을 제공한다.

성능 모델링 파트에서는 객체 전송에 대한 전송량·네트워크 RTT·청크 크기, 스트림 전송에 대한 레코드 크기·배치 간격·컨슈머 처리량을 변수로 하는 두 개의 수식 모델을 제시하고, 이를 기반으로 파라미터 자동 튜닝을 가능하게 한다.

평가에서는 환경 모니터링 시나리오(위성 이미지·센서 스트림)와 기존 전용 도구(Confluent Replicator, S3 Source Connector, Rucio)와의 비교 실험을 수행한다. 결과는 (1) 대용량 객체 전송에서 SkyHOST가 Skyplane 대비 5~10 % 정도의 오버헤드만 발생했으며, (2) 스트림 복제에서는 레코드당 평균 레이턴스가 30 ms 이하로 유지돼 기존 Kafka Replicator와 동등하거나 약간 우수했다는 점을 보여준다. 가장 큰 장점은 동일 CLI와 제어판으로 모든 작업을 관리함으로써 설정 파일 수가 60 % 감소하고, 운영 인력 요구가 크게 낮아진다는 것이다.

한계점으로는 현재 객체‑스트림 전송만 지원하고 스트림‑객체 전송은 미구현된 점, 그리고 다중 클라우드 간 비용 최적화(예: 데이터 전송 비용)에 대한 정량적 분석이 부족한 점을 언급한다. 향후 연구에서는 비용‑성능 트레이드오프 모델링과 스트림‑객체 파이프라인을 추가해 완전한 양방향 지원을 목표로 한다.

전반적으로 SkyHOST는 멀티‑클라우드 환경에서 데이터 이동을 단일 프레임워크로 통합함으로써 운영 복잡성을 크게 낮이고, 성능 면에서도 특화 도구와 견줄 만한 수준을 달성한 점이 가장 큰 공헌이다.