클라우드용 고성능 로그 기반 데이터베이스 LogBase

초록

LogBase는 로그만을 데이터 저장소로 활용해 쓰기 병목을 없애고, 메모리 기반 다버전 인덱스로 빠른 레코드 접근과 트랜잭션 지원을 제공한다. 클라우드 환경의 탄력적 확장을 염두에 두어 HBase와 RAMCloud 기반 시스템보다 높은 지속 쓰기 처리량과 빠른 복구 시간을 실현한다.

상세 분석

LogBase는 전통적인 WAL + Data 구조를 탈피하고, 로그‑전용(log‑only) 설계를 채택함으로써 쓰기 작업을 순차적인 파일 추가만으로 처리한다. 이 접근법은 두 번의 디스크 I/O(로그와 데이터 파일 모두에 기록) 를 한 번으로 줄이고, 순차 I/O 특성 덕분에 디스크 헤드 이동 비용을 최소화한다. 결과적으로 쓰기 집약적인 금융 거래나 클릭 스트림 같은 워크로드에서 높은 지속 쓰기 처리량을 달성한다.

데이터 검색을 위해 LogBase는 각 Tablet(파티션)마다 메모리 내 다버전 인덱스를 유지한다. 인덱스 엔트리는 <키, 타임스탬프, 오프셋> 형태이며, 타임스탬프는 트랜잭션 커밋 시점의 논리적 시퀀스를 의미한다. 이 설계는 과거 버전 조회와 스냅샷 격리(snapshot isolation)를 자연스럽게 지원한다. 인덱스가 메모리 상에 존재하므로 캐시 미스가 발생하더라도 디스크에서 인덱스 블록을 읽는 비용을 크게 절감한다.

트랜잭션 관리 측면에서 LogBase는 2‑단계 커밋 프로토콜과 MVCC 기반의 충돌 감지를 결합한다. 읽기‑쓰기 트랜잭션은 먼저 필요한 레코드의 최신 커밋 타임스탬프를 확인하고, 쓰기 단계에서는 새로운 버전을 로그에 순차적으로 추가한다. 커밋 시점에만 인덱스를 원자적으로 업데이트하므로, 동시성 제어 비용이 낮으며, 롤백 시 로그에 남은 오래된 버전은 로그 압축(compaction) 단계에서 정리된다.

복구 메커니즘은 로그 자체가 유일한 영구 저장소이기 때문에, 장애 발생 시 로그 파일을 재생(replay)할 필요 없이 인덱스만 재구성하면 된다. LogBase는 로그를 HDFS와 같은 분산 파일 시스템에 저장하고 복제(replication)하여 단일 노드 장애에 대한 내구성을 확보한다. 따라서 복구 시간은 인덱스 재구성 비용에 비례하며, 전통적인 WAL 기반 시스템보다 훨씬 짧다.

실험에서는 HBase와 디스크 기반 RAMCloud‑모델(LRS)과 비교했을 때, LogBase는 1 TB 규모 데이터에 대해 평균 2배 이상의 쓰기 처리량을 보였으며, 99‑percentile 읽기 지연도 유사 수준을 유지했다. 또한, 10대 노드 장애 상황에서도 몇 초 내에 서비스 복구가 가능했다.

하지만 몇 가지 한계도 존재한다. 인덱스를 메모리에 유지하기 때문에 메모리 용량이 제한된 Tablet 서버에서는 인덱스 크기가 데이터 규모에 비해 과도해질 수 있다. 현재는 수평 확장을 통해 Tablet 수를 늘리는 방식으로 대응하지만, 인덱스 파티셔닝이나 디스크 기반 보조 인덱스와의 혼합 사용이 필요할 것으로 보인다. 또한, 로그 압축은 백그라운드에서 수행되지만, 압축 주기가 짧아질 경우 쓰기 스루풋에 영향을 줄 수 있다.

전반적으로 LogBase는 로그‑전용 스토리지와 메모리 기반 다버전 인덱스를 결합해 쓰기‑중심 클라우드 애플리케이션에 최적화된 설계를 제시한다. 향후 연구에서는 인덱스 스케일링, 압축 정책 자동 튜닝, 그리고 SSD/NVMe 기반 하이브리드 스토리지와의 통합을 통해 성능·비용 효율성을 더욱 향상시킬 여지가 있다.