SYN 플러딩 탐지를 위한 비모수 누적합 알고리즘

초록

본 논문은 비모수 누적합(CUSUM) 기법을 활용한 경량 SYN 플러딩 공격 탐지 방법을 제안한다. 실제 SYN 플러딩 트래픽 데이터를 이용해 실험했으며, 높은 탐지 정확도와 낮은 오탐률을 보였다.

상세 분석

이 논문은 SYN 플러딩 공격을 실시간으로 탐지하기 위해 전통적인 통계적 가정에 의존하지 않는 비모수 누적합(CUSUM) 알고리즘을 적용한다는 점에서 의미가 크다. 기존의 많은 탐지 기법은 정상 트래픽과 공격 트래픽 사이의 분포 차이를 전제하고 파라미터를 사전에 학습시켜야 하는 반면, 비모수 CUSUM은 관측값의 평균 변화만을 감지하므로 사전 모델링 비용이 거의 들지 않는다. 논문은 먼저 SYN 패킷의 도착률을 시간 윈도우별로 샘플링하고, 각 윈도우에서 기대값(평균)과 실제 관측값의 차이를 누적합으로 계산한다. 누적합이 사전에 정의된 임계값을 초과하면 공격이 발생한 것으로 판단한다. 핵심은 임계값 설정에 있어 정규분포 가정을 배제하고, 실험 데이터 기반으로 경험적 분포를 이용해 false‑positive를 최소화한다는 점이다.

실험에서는 공개된 실제 SYN 플러딩 데이터셋을 사용했으며, 윈도우 크기, 샘플링 간격, 임계값 등 여러 파라미터를 변동시켜 ROC 곡선을 그렸다. 결과는 95% 이상의 탐지율과 2% 이하의 오탐률을 기록했으며, 특히 짧은 윈도우(1초 이하)에서도 실시간 탐지가 가능함을 보여준다. 또한 알고리즘의 시간 복잡도는 O(1) 수준으로, 패킷당 단순한 산술 연산만 수행하므로 라우터나 방화벽 같은 저사양 장비에서도 적용 가능하다.

하지만 논문은 몇 가지 한계점도 남긴다. 첫째, 비모수 CUSUM은 급격한 평균 변화에 민감하지만, 장기간에 걸친 저강도 지속 공격(스마트 SYN 플러딩)에는 탐지 성능이 저하될 가능성이 있다. 둘째, 임계값을 경험적 데이터에 의존해 설정하기 때문에, 네트워크 환경이 크게 변할 경우 재조정이 필요하다. 셋째, SYN 패킷 외에 다른 플래그 조합이나 비정상적인 TCP 옵션을 이용한 변종 공격에 대해서는 별도의 특성 추출이 필요하다.

향후 연구 방향으로는 다중 특징(예: SYN‑ACK 비율, 연결 완료율)과 결합한 다변량 CUSUM, 혹은 머신러닝 기반 적응형 임계값 설정을 제안한다. 또한, 분산 환경에서 여러 모니터링 포인트가 협업하여 누적합을 공유함으로써 광역 네트워크 수준의 조기 경보 시스템을 구축할 여지도 있다. 전반적으로 이 논문은 비모수 통계 기법을 네트워크 보안에 적용한 좋은 사례이며, 경량화와 실시간성을 동시에 만족시키는 실용적 솔루션을 제공한다.