실시간 멀티모달 데이터 분석을 위한 ByteHouse ByteDance 클라우드 네이티브 데이터 웨어하우스

초록

ByteHouse는 멀티모달(텍스트·이미지·비디오) 데이터를 실시간으로 분석할 수 있도록 설계된 클라우드‑네이티브 데이터 웨어하우스이다. 통합 테이블 엔진, SSD 기반 클러스터 캐시(CrossCache), 가상 파일시스템(NexusFS) 등 3계층 스토리지와 분석·배치·증분 실행 모드를 지원하는 컴퓨팅 레이어, 그리고 히스토리 기반 최적화와 AI 보조 플래너를 갖춘 제어 레이어로 구성된다. 내부 및 공개 벤치마크에서 기존 OLAP·벡터 DB 대비 25 % 이상 지연 감소와 50 % 이상 처리량 향상을 기록한다.

상세 분석

ByteHouse는 기존 클라우드 데이터 웨어하우스가 안고 있던 ‘멀티모달 저장소의 I/O 비효율’, ‘쿼리 최적화의 경직성’, ‘원격 스토리지에 의한 데이터 로컬리티 손실’이라는 세 가지 핵심 문제를 동시에 해결하려는 시도로 눈에 띈다. 첫 번째로 제시된 통합 테이블 엔진은 문서‑청크 2단계 논리 추상화를 도입해, 텍스트·이미지·비디오 등 다양한 모달리티를 하나의 테이블 스키마에 담는다. 각 청크는 벡터 컬럼을 포함할 수 있어, 전통적인 컬럼형 스캔과 벡터 검색을 동일한 엔진에서 수행한다는 점이 혁신적이다. 물리적으로는 Stable Segment와 Delta Segment를 구분해 MVCC 기반 스냅샷 일관성을 유지하면서, 증분 데이터는 Delta Segment에 기록하고 백그라운드 컴팩션으로 Stable Segment에 병합한다. 여기서 적응형 컴팩션 제어식(α = min(1, max(0, k·(NΔ/N* − 1))))을 도입해, delta 세그먼트 축적 정도에 따라 컴팩션 강도를 선형적으로 조절한다. 이는 과도한 컴팩션으로 인한 쓰기 I/O 폭증을 방지하면서도, 세그먼트 파편화를 최소화해 스캔 로컬리티를 보존한다는 실용적 장점을 제공한다.

두 번째로 스토리지 레이어의 CrossCache와 NexusFS 설계는 ‘원격 객체 스토리지와 로컬 디스크 사이의 성능 격차’를 메우는 핵심 메커니즘이다. CrossCache는 SSD 기반 캐시 노드에 데이터를 청크 단위로 해시 분산 저장하고, 사전 읽기(prefetch)와 비동기 플러시를 통해 원격 스토리지 접근 지연을 크게 감소시킨다. NexusFS는 다양한 백엔드(TOS, HDFS, 로컬 SSD)를 하나의 네임스페이스로 통합하고, 정렬‑인식(region‑aligned) 메모리 관리와 버퍼 오케스트레이션을 제공한다. 결과적으로 컴퓨팅 노드에서는 Arrow 기반 zero‑copy 전송으로 로컬 캐시 데이터를 직접 읽을 수 있어, 전통적인 ‘메타데이터 조회 → 원격 파일 읽기’ 흐름에서 발생하던 I/O 증폭과 일관성 오버헤드를 제거한다.

컴퓨팅 레이어는 Analytic Pipeline Mode(APM), Staged Batch Mode(SBM), Incremental Processing Mode(IPM)라는 세 가지 실행 모드를 제공한다. APM은 다단계 분산 파이프라인으로 대규모 스캔·집계에 최적화되고, SBM은 ETL 워크로드에 대한 단계적 재시도와 체크포인팅을 지원한다. IPM은 delta‑aware 연산자를 통해 최신 데이터에 대한 실시간 증분 계산을 가능하게 한다. 특히 멀티모달 하이브리드 쿼리를 위해 RANK_FUSION 같은 연산자를 도입했으며, 벡터 스캔 단계에서 스칼라 프레디케이트를 런타임 필터링으로 푸시다운하는 최적화를 적용한다. 계층형 벡터 인덱스는 온라인·근실시간·비용 민감 서비스별로 서로 다른 검색 정확도와 응답 시간을 제공하도록 설계되었다.

제어 레이어는 전역 메타데이터 관리, 트랜잭션 순번 발행, 백그라운드 유지보수(컴팩션·머지) 등을 담당한다. 히스토리 기반 최적화(HBO)는 과거 실행 통계(선택도·카디널리티·연산자 비용)를 재활용해 비용 모델을 동적으로 보정한다. 여기에 AI‑assisted 플래너가 회귀 모델과 딥러닝 기반 상관관계 학습을 적용해, 기존 규칙 기반 옵티마이저가 놓치기 쉬운 ‘프레디케이트 푸시다운·조인 사이드 선택’ 등을 자동으로 예측한다. 이러한 지능형 플래너는 새로운 쿼리 패턴에도 빠르게 적응해 전반적인 플래닝 정확도를 높인다.

실험 결과는 두 가지 축을 중심으로 제시된다. 첫 번째는 ClickBench와 같은 전통적인 OLAP 벤치마크에서 평균 25 % 이상 지연이 감소했으며, 이는 CrossCache와 NexusFS가 원격 스토리지 접근을 크게 억제했기 때문이다. 두 번째는 Cohere·C4와 같은 멀티모달 워크로드에서 처리량이 50 % 이상 향상되었으며, 이는 통합 테이블 엔진과 하이브리드 연산자 최적화가 텍스트·벡터·이미지 검색을 하나의 파이프라인에서 효율적으로 수행했기 때문이다. 전체적으로 ByteHouse는 클라우드‑네이티브 환경에서 멀티모달 실시간 분석을 지원하기 위한 스토리지·컴퓨팅·제어 전반에 걸친 설계 혁신을 보여준다.