TCP SYN 플러드 방어를 위한 능동형 탐지·차단 메커니즘

초록

본 논문은 SYN 플러드 공격을 정확히 탐지하기 위해 정상 SYN 패킷과 공격 SYN 패킷의 도착 시간 변동성을 통계적으로 분석하고, 이를 기반으로 실시간 탐지 알고리즘을 설계한다. 탐지된 공격에 대해서는 방어 노드가 SYN/ACK 패킷을 위임하여 정상 트래픽은 허용하고 악성 트래픽은 차단함으로써 단일 방화벽의 확장성 한계를 극복한다. 트레이스 기반 실험을 통해 제안 기법이 기존 방화벽 대비 높은 탐지 정확도와 낮은 오탐률을 보임을 입증한다.

상세 분석

이 논문은 기존 방화벽이 SYN 플러드 공격을 구분하지 못하고, 트래픽 양이 급증할 경우 단일 지점 방어가 병목 현상을 일으킨다는 두 가지 근본적인 문제를 지적한다. 이를 해결하기 위해 저자들은 정상 TCP 연결에서 발생하는 SYN 패킷과 악의적인 SYN 플러드에서 발생하는 패킷의 도착 간격(time inter‑arrival) 특성을 정량화하였다. 정상 트래픽은 사용자의 인터랙션과 애플리케이션 레벨의 흐름에 따라 일정한 평균 도착률과 비교적 낮은 변동성을 보이는 반면, 공격 트래픽은 대량의 SYN을 짧은 시간에 집중시켜 높은 변동성과 급격한 피크를 만든다. 이러한 차이를 포착하기 위해 저자들은 이동 평균과 표준편차를 이용한 동적 임계값을 설정하고, 일정 시간 윈도우 내에서 도착률이 통계적 기대값을 초과하면 ‘플러드 의심’ 신호를 발생시킨다.

탐지 모듈은 네트워크 노드에 배치될 수 있도록 경량화되었으며, 탐지 결과는 경보 메시지 형태로 인근 방어 노드에 전파된다. 방어 노드는 경보를 받은 뒤, 해당 SYN에 대한 SYN/ACK 응답을 자체적으로 생성하거나 위임함으로써 원래 서버가 직접 SYN을 처리하지 않게 만든다. 이 과정에서 정상 SYN/ACK 흐름은 유지되지만, 공격자가 보낸 가짜 SYN에 대해서는 응답을 차단하거나 지연시켜 연결을 성립시키지 못하게 한다.

핵심적인 기여는 (1) 시간 변동성을 이용한 통계 기반 탐지 모델, (2) 탐지 결과를 실시간으로 방어 노드에 전달하여 분산형 차단을 구현한 점, (3) 트레이스 기반 실험을 통해 기존 방화벽 대비 탐지 정확도가 15 % 이상 향상되고 오탐률이 8 % 이하로 감소했음을 실증한 점이다. 또한, 방어 노드 간의 경보 전파는 최소한의 오버헤드로 설계되어 대규모 DDoS 상황에서도 확장성을 유지한다. 그러나 통계 모델이 트래픽 패턴 변화에 민감하므로, 장기적인 학습 및 적응 메커니즘이 추가되어야 한다는 한계점도 제시한다.