흐름 기반 네트워크 공격 탐지와 실시간 차단

초록

본 논문은 Cisco NetFlow 프로토콜을 이용한 트래픽 흐름 모델을 기반으로 DDoS와 포트 스캔 공격을 실시간으로 탐지하고, 공격자 IP를 자동으로 블랙리스트에 추가하는 방법을 제안한다. 흐름 수와 채널 이용률을 5분 간격으로 측정하여 정상 구간을 통계적으로 정의하고, 이를 벗어나는 경우를 이상 징후로 판단한다. 실험 결과, 포트 스캔 시 짧은 흐름이 급증하고, DDoS 공격 시 흐름 수와 트래픽 모두 급증하는 패턴을 확인했으며, 제안된 알고리즘을 Perl 스크립트와 iptables와 연계해 1분 이내에 차단이 가능함을 입증하였다.

상세 분석

이 논문은 네트워크 보안 분야에서 흔히 간과되는 ‘흐름 레벨’ 데이터를 활용한다는 점에서 의미가 크다. 기존 IDS는 패킷 시그니처나 이상 트래픽 패턴을 분석하지만, 흐름 단위의 집계 정보는 처리량이 적고 통계적 특성이 뚜렷해 실시간 탐지에 유리하다. 저자들은 Cisco NetFlow가 제공하는 7‑tuple 키를 기반으로, 두 가지 핵심 변수—활성 흐름 수(N)와 채널 이용률(B(t))—를 선택하였다. 이 두 변수는 각각 네트워크의 복잡도와 부하 상태를 대표하며, 정상 구간을 정규분포 가정 하에 신뢰구간(α=0.05)으로 정의한다. 연속된 측정값이 이 구간을 벗어나면 ‘비정상 상태’로 판정하고, 이후 흐름 특성을 추가 분석한다.

포트 스캔 탐지는 “짧은 흐름(≤50 바이트)이 대량 발생하면서 전체 부하는 거의 변하지 않는다”는 패턴으로 식별한다. 이는 스캐너가 여러 포트에 SYN/FIN 등을 짧게 전송해 연결을 시도하지만 실제 데이터 전송은 거의 없기 때문이다. 반면 DDoS 공격은 “활성 흐름 수와 동시에 트래픽 양이 급격히 상승”하는 특성을 보인다. 특히 LOIC와 같은 툴은 여러 포트와 프로토콜(HTTP, UDP, TCP)을 동시에 사용해 짧은 흐름을 대량 생성하므로, 두 변수 모두가 급증하는 복합 패턴을 만든다.

알고리즘은 흐름 레코드의 ‘바이트 크기’와 ‘지속 시간’을 기준으로 IP를 분류한다. ① 짧은 흐름이 다수인 IP → 포트 스캔 의심, ② 긴 흐름(>5 분) 또는 대량 흐름이 지속되는 IP → DoS/DDoS 의심. 다수의 IP가 동시에 의심될 경우 DDoS로 판단한다. 이러한 규칙은 단순하지만, NetFlow 데이터가 5분 혹은 1분 단위로 수집될 때 충분히 빠른 반응을 가능하게 한다.

시스템 구현 측면에서는 nfdump를 이용해 NetFlow 데이터를 파일로 저장하고, Perl 스크립트가 이를 파싱해 위 규칙을 적용한다. 의심 IP는 MySQL 등에 저장된 뒤 iptables에 동적으로 규칙을 삽입해 5분간 차단한다. 실험 환경은 사마라 주립 항공대학 네트워크이며, 외부 머신을 이용해 Nmap 기반 포트 스캔과 LOIC 기반 DDoS를 각각 수행했다. 결과는 포트 스캔 시 활성 흐름이 5만~6만 개 수준에서 급증하고, DDoS 시에는 흐름 수와 Mbps가 동시에 상승함을 그래프로 제시한다.

이 논문의 강점은 (1) 흐름 기반 통계 모델을 명확히 수식화하고, (2) 실제 네트워크에서 실험을 통해 패턴을 검증했으며, (3) 기존 방화벽(iptables)과 손쉽게 연동할 수 있는 구현체를 제공했다는 점이다. 다만 한계점으로는 (가) NetFlow가 ‘완료된 흐름’만 제공하므로 실시간성에 1분 정도 지연이 존재하고, (나) 암호화 트래픽이나 비표준 포트에서의 탐지 정확도가 검증되지 않았으며, (다) 대규모 ISP 수준에서의 확장성 평가가 부족하다는 점을 들 수 있다. 향후 연구에서는 NetFlow v9/IPFIX의 확장 필드를 활용해 애플리케이션 레벨 메타데이터를 포함시키고, 머신러닝 기반 다변량 이상 탐지와 결합해 오탐률을 낮추는 방향이 기대된다.