DNS 트래픽 기반 봇넷 탐지와 이상 도메인 식별

초록

본 논문은 봇넷이 정규 호스트와 동일하게 DNS 질의를 수행함에 따라 발생하는 이상 DNS 트래픽을 탐지하기 위한 간단한 메커니즘을 제안한다. 그룹으로 행동하는 다수의 호스트가 주기적으로 동일 도메인을 조회한다는 특징을 이용해 트래픽을 ‘그룹 행동’과 ‘개별 행동’으로 분류하고, 비정상적인 도메인 요청을 식별한다. 실험 결과 평균 89 %의 탐지율을 기록하며, 제안 기법이 실시간 및 대규모 환경에서도 효과적임을 보인다.

상세 분석

이 논문은 최근 봇넷이 DNS 서버를 악용해 명령·제어(C2) 통신을 수행하거나 스팸·피싱 등에 활용되는 현상을 문제 제기로 삼는다. 기존 연구들은 주로 패킷 헤더, 트래픽 볼륨, 혹은 머신러닝 기반의 특징을 이용해 악성 트래픽을 구분했지만, DNS 질의 자체가 정상 트래픽과 구분이 어려운 점을 간과했다. 저자는 “봇넷은 그룹으로 주기적으로 동일 도메인을 조회한다”는 가정을 세우고, 이를 기반으로 두 단계의 분류 과정을 설계한다. 첫 번째 단계에서는 DNS 로그를 수집해 각 질의의 요청자(IP)와 도메인 이름을 매핑하고, 일정 시간 창에서 동일 도메인에 대한 요청 빈도가 일정 임계값을 초과하면 ‘그룹 행동’으로 라벨링한다. 두 번째 단계에서는 개별 호스트가 비정상적으로 높은 요청 빈도나 비정상적인 도메인 패턴을 보이는 경우를 ‘개별 행동’으로 분류한다. 이렇게 구분된 트래픽 중, 사전에 알려진 악성 도메인 리스트와 매칭하거나, 도메인 이름의 길이·문자 구성·TTL 값 등 추가적인 규칙 기반 필터링을 적용해 최종적으로 ‘이상 DNS 트래픽’으로 판단한다.

기술적 강점은 구현의 단순성에 있다. 복잡한 피처 엔지니어링이나 딥러닝 모델을 필요로 하지 않으며, 실시간 로그 스트림에 적용 가능하도록 설계되었다. 또한 그룹 행동 탐지를 통해 다수의 감염된 호스트가 동시에 동일 C2 서버에 접속하려는 시도를 효과적으로 포착한다는 점은 기존 개별 호스트 기반 탐지보다 높은 탐지 효율을 기대할 수 있다.

하지만 몇 가지 한계도 존재한다. 첫째, 논문에 제시된 실험 환경과 데이터셋이 구체적으로 기술되지 않아 재현 가능성이 낮다. 탐지율 89 %는 평균값으로 제시되었지만, false positive 비율이나 탐지 지연 시간 등 실운용에서 중요한 지표는 누락되었다. 둘째, 주기적 그룹 행동을 전제로 하기 때문에, 최신 봇넷이 무작위화된 DNS 질의를 사용하거나 도메인 플럭투에이션(domain flux) 기법을 적용할 경우 탐지 효율이 급격히 떨어질 가능성이 있다. 셋째, 규칙 기반 필터링은 새로운 변종 도메인에 대한 적응성이 낮으며, 악성 도메인 리스트의 최신성 유지가 필수적이다. 마지막으로, 정상적인 CDN 서비스나 대규모 클라우드 서비스가 동일 도메인에 대한 대량 질의를 발생시킬 경우 오탐이 발생할 위험이 있다.

향후 연구에서는 머신러닝 기반의 이상치 탐지와 결합해 규칙 기반의 한계를 보완하고, 다양한 시간 창과 다중 특성을 활용한 다중 레벨 군집화를 도입함으로써 비주기적·저빈도 봇넷 행동도 포착할 수 있는 방안을 모색해야 한다. 또한, 실험을 위한 공개 데이터셋 구축과 다양한 네트워크 환경에서의 벤치마크를 통해 제안 기법의 일반화 가능성을 검증하는 것이 필요하다.