AllConcur: 리더 없는 고성능 원자 브로드캐스트 시스템

초록

AllConcur는 리더 기반 구조의 병목을 없애고, 논리적 다이그래프 오버레이와 조기 종료 메커니즘을 활용해 원자 브로드캐스트를 구현한다. 구현은 TCP와 InfiniBand를 모두 지원하며, 135 백만 요청/초 처리와 Libpaxos 대비 17배 높은 처리량을 달성한다.

상세 분석

AllConcur는 기존 Paxos·Raft와 같은 리더 기반 합의 프로토콜이 갖는 중앙 조정자 병목을 근본적으로 해소한다는 점에서 의미가 크다. 핵심 설계는 정규 다이그래프 G (정점 n, 차수 d, 지름 D, 정점‑연결성 k) 위에 모든 서버가 동등하게 메시지를 교환하도록 하는 것이다. G 의 차수 d 는 각 서버가 유지해야 할 연결 수를 제한하면서도, k ≥ f (허용 실패 수) 를 보장해 f‑resilience 를 제공한다. 특히, G 가 최적 연결( k = d )인 경우 최소한의 네트워크 비용으로 높은 내결함성을 얻는다.

조기 종료(Early Termination) 메커니즘은 “모든 비정상 서버가 가지고 있는 메시지를 다른 비정상 서버도 가지고 있다”는 조건을 만족하면 즉시 A‑deliver를 허용한다. 이를 위해 각 서버는 수신한 실패 알림을 통해 전역 메시지 집합을 추적한다. 모든 서버가 메시지를 A‑broadcast했을 경우, 존재하지 않는 메시지를 기다릴 필요가 없어 f + Df(G,f) 라운드의 최악 상황을 크게 감소시킨다. 논문은 이 메커니즘을 이론적으로 증명하고, 실제 구현에서 평균 2 ~ 3 라운드 내에 합의를 달성함을 보여준다.

성능 평가에서는 TCP와 InfiniBand 두 가지 전송 계층을 실험했으며, 특히 InfiniBand Verbs를 이용한 경우 135 Mops(8‑byte 요청) 를 초과하는 처리량을 기록했다. 이는 기존 Libpaxos가 7 ~ 8 Mops 수준에 머물던 것과 비교해 17배 향상된 수치다. 또한, 지연 시간은 35 µs(8 서버, 100 Mops)에서 0.75 ms(64 서버, 32 kOps)까지 확장 가능성을 보였다.

응용 분야로는 여행 예약 시스템, 대규모 멀티플레이어 게임, 지리적으로 분산된 거래소 등이 제시된다. 특히, 강한 일관성을 유지하면서도 높은 업데이트율과 낮은 레이턴시를 요구하는 환경에서 AllConcur의 무리더 설계가 큰 장점을 제공한다.

전체적으로 AllConcur는 이론적 정당성(정확성 증명, 복원력 분석)과 실험적 검증을 모두 갖춘, 대규모 분산 시스템에서 리더 병목을 제거하고 고성능 원자 브로드캐스트를 구현할 수 있는 실용적인 솔루션이다.