하데크: 하둡 기반 실시간 DDoS 탐지 프레임워크

초록

본 논문은 하둡의 MapReduce와 HDFS를 활용해 실시간에 가까운 DDoS 공격을 탐지하는 HADEC 프레임워크를 제안한다. 트래픽 캡처 서버에서 로그를 생성·전송하고, 탐지 서버에서 분산 MapReduce 작업으로 TCP‑SYN, HTTP‑GET, UDP, ICMP 플러딩을 카운터 기반으로 분석한다. 10대 노드 클러스터에서 20 GB 로그를 약 8 분, 1.8 Gbps 수준의 트래픽은 21 초 내에 탐지함으로써 대용량 공격에 대한 합리적인 응답 시간을 보여준다.

상세 분석

HADEC은 기존 IDS가 처리하기 어려운 초대규모 트래픽을 빅데이터 처리 플랫폼인 하둡에 매핑함으로써 확장성을 확보한다. 캡처 서버는 오픈소스 패킷 분석기 tshark를 파이프라인화해 필요한 헤더 정보만을 추출하고, 관리자가 정의한 파일 크기·갯수 기준으로 로그 파일을 생성한다. 이 로그는 SCP를 통해 탐지 서버로 전송된 뒤 HDFS에 저장되며, 하둡 네임노드가 블록 단위로 데이터를 분산한다.

Map 단계에서는 각 라인(패킷 레코드)을 src‑IP를 키로 하는 (key, value) 쌍으로 변환하고, 프로토콜별 필터링(UDP/QUIC, ICMP, SYN, HTTP‑GET) 후 해당 키‑값을 출력한다. Shuffle 과정에서 동일 src‑IP를 가진 레코드가 동일 리듀서에 모이게 되며, 리듀서는 단순 카운터를 이용해 일정 임계값을 초과하는 경우 공격으로 판단한다. 이러한 설계는 구현이 간단하고, 하둡 클러스터 규모에 따라 선형적인 처리량 향상을 기대할 수 있다.

실험 결과는 두 가지 관점에서 의미가 있다. 첫째, 300 GB 규모의 원본 트래픽을 20 GB 로그로 축소한 뒤 10노드 클러스터에서 8.35 분 만에 전체 탐지를 완료했다는 점은 대용량 로그를 배치 처리하는 데 충분한 성능을 입증한다. 둘째, 1.8 Gbps 수준의 실시간 트래픽을 21 초 내에 탐지한다는 수치는 “실시간”에 근접한 응답 시간을 제공한다는 점에서 실용적이다.

하지만 몇 가지 한계도 존재한다. MapReduce는 작업 시작·종료 오버헤드가 크기 때문에 초당 수천 패킷 수준의 초저지연 탐지에는 부적합할 수 있다. 또한 카운터 기반 알고리즘은 소규모 저속 공격이나 IP 스푸핑에 취약하며, 탐지 정확도(정밀도·재현율)에 대한 정량적 평가가 논문에 누락돼 있다. 프로토콜별 단순 필터링만으로는 암호화된 트래픽이나 애플리케이션 레이어 변조 공격을 포착하기 어렵다. 마지막으로, 로그 파일을 HDFS에 저장하고 삭제하는 과정이 추가적인 I/O와 스토리지 관리 부담을 초래한다.

향후 개선 방향으로는 스트리밍 처리 엔진(Spark Streaming, Flink)으로 전환해 배치 지연을 최소화하고, 머신러닝 기반 특징 추출을 결합해 저속·다변량 공격을 탐지하는 것이 제안된다. 또한, src‑IP 기반 카운터를 보완하기 위해 흐름별(5‑tuple) 통계와 패킷 특성(패턴, TTL, 윈도우 크기) 등을 활용하면 스푸핑 방어가 강화될 수 있다. 마지막으로, 탐지 결과를 SDN 컨트롤러와 연동해 자동 차단 정책을 적용하면 실시간 방어 체계가 완성된다.