봇모자이크: 협업형 네트워크 워터마크를 이용한 저비용 봇넷 탐지

초록

BotMosaic은 캡처된 봇을 이용해 네트워크 트래픽에 협업형 워터마크를 삽입하고, 이를 ISP·기업이 저비용으로 감지하도록 설계된 시스템이다. IRC 기반 봇넷에 초점을 맞추며, 암호화된 트래픽에도 적용 가능하고, 스테핑 스톤 탐지와 봇마스터 추적에도 활용된다. 시뮬레이션 및 실제 테스트베드 실험을 통해 낮은 오탐률과 높은 검출률을 입증하였다.

상세 분석

BotMosaic은 기존의 봇넷 탐지 기법이 배포 비용·운용 복잡성 때문에 널리 채택되지 못한다는 문제점을 인식하고, “협업형 워터마크”라는 새로운 패러다임을 제시한다. 핵심 아이디어는 악성 봇을 사전에 포획하여 ‘워터마커’가 제어하고, 이들 캡처 봇이 IRC 채널에 접속할 때 일정한 패턴(패킷 전송 간격·크기·순서 등)을 인위적으로 삽입한다는 것이다. 중요한 점은 단일 봇이 아니라 다수의 캡처 봇이 동시에 동일한 패턴을 삽입함으로써 신호 강도를 크게 높인다는 점이다. 이렇게 하면 네트워크 관측자(클라이언트 조직)는 복잡한 패킷 내용 분석 없이도 흐름 메타데이터만으로 워터마크를 탐지할 수 있다.

워터마크 설계는 두 가지 목표를 동시에 만족한다. 첫째, 검출 민감도를 높이기 위해 캡처 봇 수와 삽입 주기를 조절한다. 둘째, 오탐률을 최소화하기 위해 워터마크 시퀀스를 난수 기반으로 생성하고, 검출 시 통계적 가설 검정을 적용한다. 논문에서는 워터마크 길이 L, 삽입 간격 Δt, 그리고 허용 오차 ε 등을 파라미터화하여 운영 환경에 맞게 튜닝할 수 있음을 보였다.

또한 BotMosaic은 **내용 무관성(content‑agnostic)**을 특징으로 한다. 워터마크는 패킷의 페이로드가 암호화되어 있더라도 전송 타이밍과 크기와 같은 외부 메타데이터에만 의존한다. 따라서 TLS/SSL 등으로 보호된 IRC 트래픽에도 그대로 적용 가능하다.

보안 측면에서 BotMosaic은 두 가지 추가 기능을 제공한다. 첫째, 워터마크가 삽입된 흐름이 스테핑 스톤(중계 서버)을 거쳐 전달될 경우, 중계 단계에서도 워터마크가 유지되므로 중계 서버 탐지에 활용될 수 있다. 둘째, 워터마크가 감지된 흐름을 역추적하면 최종적으로 봇마스터가 사용하는 IRC 서버 혹은 제어 채널을 식별할 수 있다. 이는 기존의 트래픽 분석 기반 추적보다 훨씬 적은 비용으로 가능하게 만든다.

실험에서는 100대 규모의 캡처 봇을 가상 환경에 배치하고, 실제 악성 IRC 봇넷 트래픽을 재현하였다. 시뮬레이션 결과, 워터마크 삽입 비율을 5% 수준으로 낮추어도 99% 이상의 검출 성공률을 보였으며, 오탐률은 0.1% 이하로 유지되었다. 실제 테스트베드에서는 네트워크 장비(스위치·라우터)에서 단순 흐름 통계만을 이용해 실시간 탐지가 가능함을 입증하였다.

이러한 결과는 BotMosaic이 저비용·고효율이라는 핵심 가치를 충족함을 의미한다. ISP나 기업은 별도의 복잡한 DPI(Deep Packet Inspection) 장비를 도입할 필요 없이, 기존 라우터에 작은 모듈을 추가하거나 흐름 로그를 분석하는 수준으로도 협업형 워터마크를 검출할 수 있다. 또한, 캡처 봇을 운영하는 중앙 기관(예: 학계·보안 연구소)이 워터마크를 주기적으로 업데이트하면, 적응형 공격자에 대한 지속적인 방어가 가능하다.

하지만 몇 가지 한계점도 존재한다. 워터마크 삽입을 위해서는 사전에 충분한 수의 캡처 봇이 필요하며, 이는 운영 비용과 법적·윤리적 고려사항을 동반한다. 또한, 공격자가 워터마크 패턴을 역추적해 변조하거나, 트래픽 패딩·지연 기법을 사용해 신호를 은폐할 경우 탐지 효율이 저하될 수 있다. 논문에서는 이러한 위협 모델에 대비해 워터마크 파라미터를 동적으로 변경하고, 다중 워터마크(다중 시퀀스) 방식을 제안했지만, 실제 배포 시에는 지속적인 파라미터 관리와 업데이트가 필요하다.

종합하면, BotMosaic은 기존의 무거운 시그니처 기반·행위 기반 탐지와는 달리, 협업형 워터마크라는 혁신적인 메커니즘을 통해 저비용·고신뢰성을 동시에 달성한 솔루션이다. 향후 연구에서는 워터마크를 다른 프로토콜(HTTP, P2P)에도 확장하고, 머신러닝 기반의 자동 파라미터 튜닝을 결합함으로써 더욱 폭넓은 적용 가능성을 모색할 수 있다.