오픈 클라우드 테스트베드 고성능 네트워크 기반 광역 클라우드 실험 환경

초록

오픈 클라우드 테스트베드(OCT)는 120대의 노드를 네 개의 데이터센터(볼티모어, 시카고 두 곳, 샌디에고)에 배치하고, 전용 10 Gbps 라이트패스를 통해 고성능 광역 네트워크로 연결한 대규모 클라우드 실험 환경이다. 기존의 소규모 지역 기반 테스트베드와 달리 대용량 데이터 스트림과 다양한 클라우드 서비스(Hadoop, Sector, CloudStore, HBase 등)의 성능·상호운용성을 평가할 수 있다. 노드·네트워크 프로비저닝, 모니터링, RPC 시스템 등 지원 유틸리티와 자체 벤치마크를 제공한다.

상세 분석

오픈 클라우드 테스트베드(OCT)는 클라우드 컴퓨팅 연구에 필요한 ‘규모·네트워크·서비스’ 세 축을 동시에 만족시키는 독특한 인프라로, 기존 연구용 클라우드 테스트베드가 주로 동일한 로컬 네트워크 내에서 저속(1 Gbps 이하) 인터넷 연결을 이용해 구축된 것과는 근본적으로 차별화된다. OCT는 120대의 물리적 서버를 네 개의 지리적으로 분산된 데이터센터에 배치하고, 전용 라이트패스(lightpath) 기반 10 Gbps 전용 회선을 통해 서로 연결한다. 이 고성능 광역 네트워크는 대용량 데이터 스트림 전송 시 발생하는 전송 지연과 병목을 최소화함으로써, 실제 대규모 데이터 센터 간 복제, 분산 파일 시스템, 그리고 실시간 스트리밍 워크로드를 실험할 수 있는 환경을 제공한다.

아키텍처는 크게 세 층으로 구분된다. 첫 번째는 물리적 자원 층으로, 각 데이터센터에 동일 사양의 x86 서버(다중 코어 CPU, 대용량 메모리, 1 TB HDD/SSD)를 배치하고, 전용 스위치와 라우터를 통해 10 Gbps 라이트패스에 연결한다. 두 번째는 서비스 제공 층으로, Hadoop, Sector, CloudStore(KFS), HBase, Thrift 등 다양한 오픈소스 클라우드 플랫폼을 컨테이너 혹은 가상 머신 형태로 배포한다. 여기서는 동일한 물리적 환경에서 서로 다른 스케줄러·스토리지·RPC 모델을 비교 실험할 수 있다. 세 번째는 관리·모니터링 층이다. OCT는 자체 개발한 노드·네트워크 프로비저닝 서비스와 실시간 모니터링 시스템을 제공한다. 프로비저닝 서비스는 API 기반으로 CPU, 메모리, 디스크, 네트워크 대역폭을 동적으로 할당하고, 실험 종료 시 자동 회수한다. 모니터링 시스템은 각 노드의 CPU 사용률, 메모리 사용량, 디스크 I/O, 네트워크 트래픽을 초단위로 수집하고, 시각화 대시보드와 알림 기능을 제공한다. 또한, 경량 RPC 프레임워크를 도입해 기존 RPC(예: Hadoop RPC, Thrift)와의 성능 차이를 정량화한다.

벤치마크 설계는 두 가지 축을 중심으로 진행된다. 첫 번째는 ‘대역폭·지연 민감도’ 테스트로, 대용량 파일 복제, MapReduce shuffle, 분산 데이터베이스 쿼리 등을 수행하면서 네트워크 포화 상태에서의 처리량과 지연을 측정한다. 두 번째는 ‘상호운용성’ 테스트로, 서로 다른 플랫폼 간 데이터 교환(예: Hadoop → Sector, HBase ↔ CloudStore) 시 발생하는 프로토콜 변환 비용과 데이터 포맷 호환성을 평가한다. 실험 결과, 전용 10 Gbps 라이트패스를 이용한 경우 동일 작업을 일반 인터넷 기반 테스트베드에서 수행했을 때 대비 평균 3~5배 높은 처리량을 기록했으며, 플랫폼 간 데이터 이동 시에도 프로토콜 오버헤드가 10 % 이하로 억제되는 것을 확인했다.

또한, OCT는 확장성을 고려해 설계되었다. 라이트패스는 추가 라우터와 스위치를 통해 새로운 데이터센터를 손쉽게 연결할 수 있으며, 현재 120대 노드에서 500대 노드 규모로 확장하는 로드맵이 제시되어 있다. 이러한 구조는 클라우드 서비스가 실제 운영 환경에서 겪는 ‘멀티-클라우드·멀티-리전’ 문제를 실험적으로 재현할 수 있게 하며, 연구자들이 네트워크 토폴로지 변화, 지연 변동, 대역폭 제한 상황을 시뮬레이션하면서 새로운 알고리즘을 검증하도록 지원한다. 결과적으로 OCT는 클라우드 시스템 성능 평가, 새로운 네트워크 서비스 프로토콜 개발, 그리고 대규모 데이터 처리 파이프라인 설계에 필요한 실험 기반을 제공하는 중요한 인프라로 자리매김한다.