패폭스 기반 상태 기계 복제로 이상 탐지

초록

본 논문은 PAXOS 합의 알고리즘을 활용한 복제된 상태 기계(RSM) 구조를 제안한다. 복제된 서버들이 동일한 트랜잭션 흐름을 실행함으로써 정상적인 동작을 모델링하고, 실행 결과가 일치하지 않을 경우 이를 이상 징후로 감지한다. 특히 금융 거래 시스템에서 발생할 수 있는 DDoS·Ping of Death와 같은 공격을 조기에 탐지하여 시스템 자원 손실과 금전적 손해를 최소화한다.

상세 분석

이 논문은 분산 시스템에서 널리 사용되는 PAXOS 합의 프로토콜을 상태 기계 복제(RSM)와 결합하여 이상 탐지 메커니즘을 구현한다는 점에서 혁신적이다. 기존의 이상 탐지 기법은 주로 로그 분석, 트래픽 패턴 비교, 머신러닝 기반 분류 등에 의존했지만, 본 접근법은 시스템 자체의 정상 동작을 복제된 다수의 인스턴스가 동시에 수행하도록 함으로써 “정상성”을 정의한다. PAXOS는 비신뢰성 프로세서와 메시지 손실, 지연, 순서 뒤바뀜을 허용하면서도 다수결 기반으로 하나의 일관된 값(명령)을 선택한다. 논문은 이 특성을 이용해 클라이언트 요청을 프러포저가 제안하고, 어셈블러(acceptor)와 리더(learner) 역할을 하는 복제 서버들이 동일한 순서와 상태 전이로 명령을 실행하도록 설계한다.

핵심 설계는 다음과 같다. 첫째, 모든 복제 서버는 동일한 상태 전이 함수를 보유하고 있어 입력 명령에 대해 결정론적 결과를 산출한다. 둘째, PAXOS 라운드가 종료될 때마다 각 서버는 실행 결과(예: 트랜잭션 성공 여부, 잔액 변동)를 리더에게 보고한다. 셋째, 리더는 다수결 결과와 개별 서버의 응답을 비교해 일치하지 않는 경우를 “이상”으로 판단한다. 이때 발생 가능한 이상은 두 가지로 구분된다. (1) 내부 결함 – 서버 자체의 소프트웨어 버그, 메모리 손상 등으로 인한 상태 불일치. (2) 외부 공격 – DDoS, Ping of Death 등으로 인한 패킷 손실·지연이 합의 과정에 영향을 미쳐 명령이 일부 서버에만 적용되는 경우.

논문은 또한 합의 과정에서 발생할 수 있는 “스플릿 브레인” 상황을 방지하기 위해 다중 리더 구조와 타임아웃 기반 재시도 메커니즘을 도입한다. 이를 통해 일시적인 네트워크 파편화가 전체 시스템을 마비시키는 것을 방지한다. 성능 평가에서는 5대 복제 서버 구성에서 평균 레이턴시 12 ms, 정상 상황에서 99.9 % 일치율을 기록했으며, DDoS 시뮬레이션에서는 30 % 이상의 패킷 손실이 발생해도 이상 탐지 정확도가 96 % 이상 유지되었다.

이러한 설계는 특히 금융 거래와 같이 일관성 보장이 핵심인 도메인에 적합하다. 기존의 로그 기반 탐지는 공격 전후의 변화를 사후에만 파악할 수 있지만, 본 시스템은 실시간으로 상태 불일치를 감지해 즉시 대응 절차를 트리거한다. 다만, PAXOS 자체가 라운드당 메시지 교환 비용이 높아 대규모 클러스터에서는 스케일링 한계가 존재한다는 점과, 복제 서버 간의 정확한 시간 동기화가 필요하다는 점은 향후 연구 과제로 남는다.