멀티코어 환경을 위한 고성능 메모리 캐시 데이터베이스 설계

초록

본 논문은 웹 애플리케이션 캐시용 메모리 데이터베이스를 설계·구현하고, SMP·다중코어 서버에서 높은 처리량과 낮은 지연을 달성하기 위한 해시‑버킷 기반 구조와 메타데이터 태그 트리를 제시한다. 키‑값 저장소에 독자‑작성자 잠금 방식을 적용하고, 워커 스레드 풀과 ‘스레드리스’ 모드를 제공함으로써 CPU 코어 수에 따라 최적의 동시성을 확보한다. 시뮬레이션과 초기 실험을 통해 해시 버킷 수와 스레드 수의 비율이 성능에 미치는 영향을 분석한다.

상세 분석

이 논문은 기존 키‑값 캐시 시스템이 다중코어 환경에서 겪는 병목을 해소하기 위해 두 가지 핵심 설계를 도입한다. 첫 번째는 고정 크기의 해시 테이블을 사용하고, 각 버킷을 루트로 하는 레드‑블랙 트리를 배치함으로써 ‘버킷‑단위’ 독자‑작성자(rwlock) 잠금을 구현한다. 해시 함수가 균등하게 분포될 경우, 쓰기 작업은 동일 버킷에만 독점 잠금을 잡게 되므로 전체 시스템에서 동시 쓰기가 버킷 수에 비례해 거의 충돌 없이 진행된다. 읽기 작업은 공유 잠금으로 처리돼 서로를 방해하지 않으며, 이는 웹 캐시가 읽기‑중심(read‑most) 특성을 가질 때 큰 이점을 제공한다.

두 번째 설계는 메타데이터 태그를 위한 이중 레드‑블랙 트리 구조다. 태그 타입을 첫 번째 트리의 키로 두고, 각 타입 노드 아래에 태그 값(정수) 트리를 두어 ‘특정 타입·값 범위’ 검색을 효율적으로 수행한다. 이 또한 버킷‑단위 rwlock을 적용해 태그 검색 시에도 읽기‑쓰기 충돌을 최소화한다.

동시성 모델은 POSIX 스레드(pthread) 기반 워커 풀과 네트워크 I/O 전용 스레드로 구성된다. 워커 풀의 크기는 명령줄 옵션으로 조정 가능하며, ‘스레드리스’ 모드에서는 네트워크 스레드가 직접 프로토콜 파서를 호출해 잠금 오버헤드를 완전히 제거한다. 이는 단일 CPU 환경에서 25 % 이상의 성능 향상을 보였으며, 다중코어에서는 워커 풀을 활용해 CPU 활용도를 높인다.

시뮬레이션에서는 해시 버킷 수와 워커 스레드 수의 비율을 변화시켜 ‘fast lock acquisition’ 비율을 측정했다. 90 % 이상의 읽기 비중에서는 버킷 수가 스레드 수보다 충분히 클 경우 거의 모든 잠금이 비경쟁적으로 획득되었으며, 쓰기 비중이 50 %에 달하면 잠금 대기 시간이 급격히 증가한다는 결과가 도출되었다. 이를 토대로 기본 버킷 수를 256으로 설정했으며, 이는 현대 서버(4코어 이상)에서 충분한 여유를 제공한다.

전통적인 LRU나 Splay 트리는 전역 큐·구조를 필요로 해 읽기 시에도 독점 잠금을 요구한다. 본 설계는 이러한 전역 병목을 회피하고, 메모리 사용량을 버킷 단위로 제한함으로써 가비지 컬렉션도 버킷‑잠금 내에서 수행한다. 다만, 전역 메모리 사용량 추적이 어려워 메모리 제한을 버킷 별로 적용해야 하는 제약이 있다.

전체적으로 이 논문은 SMP·다중코어 서버에서 캐시 데이터베이스가 직면하는 동시성·잠금 문제를 해시‑버킷·레드‑블랙 트리 조합과 세밀한 잠금 설계로 해결하고, 실험·시뮬레이션을 통해 설계 파라미터의 합리성을 입증한다.