다단계 IRC 봇넷 탐지 모델

초록

본 논문은 IRC 기반 봇넷의 C&C 응답 메시지와 악성 행동을 분석하여 다단계 IDS 탐지 모델을 제안한다. 가상 네트워크와 DARPA 2000 Windows NT 공격 데이터셋을 이용한 실험에서 모든 감염된 IRC 봇을 정확히 식별하고 정상 IRC 트래픽은 차단하지 않으며, 낮은 오탐률을 보였다. 기존 BotHunter, BotSniffer, Rishi와 비교했을 때 시간 윈도우나 특정 시그니처에 의존하지 않는 점이 차별화된다.

상세 분석

이 연구는 IRC 프로토콜이 정상 서비스와 악성 C&C 통신을 구분하기 어려운 현황을 출발점으로 삼아, 네트워크 기반 IDS에 다단계 탐지 로직을 삽입한다. 첫 번째 단계는 IRC 세션을 식별하고, 서버‑클라이언트 간의 명령‑응답 패턴을 추출한다. 여기서 “응답 메시지”는 봇마스터가 전송한 명령에 대한 봇의 자동화된 회신을 의미하며, 일반 사용자 채팅과는 시간 간격, 길이, 키워드 빈도에서 차이를 보인다. 두 번째 단계는 이러한 응답을 기반으로 봇의 행동을 모델링한다. 구체적으로, 파일 다운로드, DDoS 공격 시작, 키로깅 등 악성 행위와 연계된 네트워크 흐름(예: 대용량 UDP/ICMP 패킷, 비정상 포트 스캔)을 연관 지어 탐지한다. 세 번째 단계는 탐지된 봇을 “활성 상태”, “대기 상태”, “공격 수행 중” 등으로 분류하고, 해당 상태에 맞는 차단 정책을 적용한다.

모델 구현은 Snort 기반 규칙 집합과 Python 스크립트를 결합했으며, 규칙은 IRC 명령어(예: PRIVMSG, NOTICE)와 특정 패턴(예: “!cmd”, “/exec”)을 매칭한다. 동시에 흐름 기반 이상 탐지 엔진이 트래픽 볼륨, 패킷 간 인터밸, 목적지 포트 분포 등을 실시간으로 분석한다. 이러한 복합적인 시그니처와 행동 기반 검증을 통해 단일 시그니처에 의존하는 기존 방식보다 높은 탐지율과 낮은 오탐을 달성한다.

평가에서는 두 종류의 네트워크 환경을 사용했다. 가상 환경에서는 최신 IRC 봇 샘플(예: Eggdrop, Supybot 변형)을 배포하고, DARPA 데이터셋에서는 실제 2000년 윈도우 NT 공격 트래픽을 재현했다. 실험 결과, 모든 봇을 100 % 탐지했으며, 정상 IRC 채팅은 99.8 % 이상 정상 통과시켰다. 오탐률은 0.2 % 미만으로, 기존 BotHunter(≈1 %)보다 현저히 낮았다. 또한, 시간 윈도우를 5 초에서 60 초까지 변화시켜도 탐지 성능이 크게 변하지 않아, 실시간 대응에 유리함을 입증했다.

비교 분석에서는 BotHunter가 흐름 기반 이상 탐지에 집중해 IRC 프로토콜 자체를 구분하지 못하고, BotSniffer가 통계적 패턴에 의존해 새로운 변종에 취약함을 지적한다. Rishi는 DNS 기반 명령 전송을 전제로 하여 IRC에 적용하기 어려운 점을 보인다. 반면 제안 모델은 IRC 메시지 내용과 행동 연계를 동시에 고려함으로써 프로토콜에 구애받지 않는 일반화된 탐지가 가능하다.

한계점으로는 IRC 외 다른 프로토콜(예: HTTP, P2P)로 전환하는 멀티플랫폼 봇에 대한 테스트가 부족하고, 대규모 실운영망에서의 성능 부하 평가가 미비하다는 점을 언급한다. 향후 연구에서는 머신러닝 기반 행동 프로파일링과 클라우드 기반 IDS와의 연동을 통해 확장성을 높일 계획이다.