전략적 알림 제한을 통한 침입 탐지 시스템 방어 강화

본 논문은 네트워크 침입 탐지 시스템(NIDS)이 자체적으로 공격받는 상황, 특히 알림 플러드(alert flooding) 공격에 대한 방어 메커니즘을 제안한다. 알림 플러드 공격은 공격자가 대량의 가짜 알림을 생성해 IDS와 운영자의 알림 처리 채널을 포화시킴으로써 실제 악성 행위를 은폐하거나 IDS 자체를 마비시키는 기법이다. 기존 연구는 주로 알림의 정확성을 높이기 위한 시그니처 튜닝, TCP 상태 추적, 혹은 전통적인 레이트 리미팅에 초점을 맞추었지만, 이들 방법은 알림을 완전히 차단하거나 중요한 알림까지 손실시킬 위험이 있다. 논문은 이러한 문제점을 해결하기 위해 두 가지 핵심 기술을 결합한다. 첫 번째는 토큰 버킷 필터(Token Bucket Filter, TBF)이다. TBF는 일정 시간당 허용되는 토큰(즉, 알림) 수를 정의하고, 버스트를 허용하기 위해 버킷 크기를 설정한다. 알림이 들어올 때마다 토큰을 소모하고, 토큰이 부족하면 알림을 ‘오버‑리밋’ 처리해 차단한다. 두 번째는 실시간 공격 그래프 기반 상관 알고리즘이다. 공격 그래프는 취약점, 공격 단계, 보안 조건을 정점으로 하는 DAG이며, 각 정점은 IDS 알림과 매핑된다. 상관 엔진은 새로운 알림이 들어올 때 해당 정점의 큐에 삽입하고, 그래프를 탐색해 선행·후속 관계를 즉시 판단한다. 이 과정에서 ‘큐 그래프(QG)’라는 메모리 내 자료구조를 사용해 최신 알림만을 보관하고, 불필요한 알림을 메모리에서 제거한다. 제안된 방어 메커니즘은 TBF를 공격 그래프의 각 정점(또는 정점 그룹)마다 별도로 적용한다는 점에서 차별화된다. 즉, 공격 그래프에서 전략적으로 중요한 정점—예를 들어, 취약점 이용 단계나 중요한 전이 단계—에 해당하는 알림은 토큰이 고갈되더라도 우선적으로 통과시키거나, 토큰 레이트를 높게 설정해 차단을 방지한다. 반면, 그래프에 매핑되지 않거나 비핵심 정점에 해당하는 알림은 토큰이 소진되는 순간 과도하게 차단한다. 이렇게 하면 알림 플러드가 발생하더라도 핵심 공격 흐름을 파악할 수 있는 알림은 유지된다. 알림이 차단될 경우를 대비해 논문은 RLE(Run‑Length Encoding) 방식을 도입한다. 동일한 알림이 연속해서 차단될 경우, 해당 알림 종류와 차단 횟수를 압축 형태로 기록한다. 이는 사후 분석 시 손실된 알림을 추정하고, 공격자가 플러드로 인해 숨긴 실제 공격 단계를 복원하는 데 도움을 준다. 실험은 3.2 GHz Pentium IV, 1 GB RAM 환경에서 Snort 기반 Firestorm IDS에 1,600개의 시그니처를 로드하고, ICMP 플러드(초당 7,343패킷)를 발생시키는 실제 CTF 캡처 파일을 사용해 수행되었다. 두 차례 실험을 진행했으며, 첫 번째는 기존 QG 상관만 적용한 컨트롤, 두 번째는 QG와 TBF를 결합한 경우이다. 결과는 다음과 같다. (1) 토큰 버킷 적용 시 전체 알림 처리량이 크게 감소했음에도 불구하고, 공격 그래프에 매핑된 핵심 알림은 99 % 이상 보존되었다. (2) 시스템 CPU와 메모리 사용량이 현저히 낮아졌으며, 알림 플러드에 의한 센서 스토리지 포화 현상이 사라졌다. (3) RLE 로그를 통해 차단된 알림 수를 추정할 수 있었으며, 이를 기반으로 공격 흐름을 재구성하는 데 성공했다. 논문의 기여는 다음과 같다. 첫째, 토큰 버킷 필터를 전역이 아닌 공격 그래프 정점별로 적용함으로써 알림의 중요도에 따라 차등 레이트 리미팅을 구현했다. 둘째, 실시간 공격 그래프 상관과 결합해 핵심 알림을 보호하면서 비핵심 알림을 효율적으로 차단하는 프레임워크를 제시했다. 셋째, 차단된 알림을 압축 로그(RLE)로 기록해 사후 분석 시 손실 정보를 복원할 수 있게 했다. 하지만 몇 가지 한계와 향후 과제도 남아 있다. 공격 그래프는 최신 취약점·네트워크 토폴로지를 반영하도록 지속적인 업데이트가 필요하며, 그래프가 오래되면 핵심 알림을 오판해 차단할 위험이 있다. 토큰 버킷 파라미터(버킷 크기·토큰 레이트)의 설정이 부적절하면 비핵심 알림이 과도하게 남아 시스템을 여전히 포화시킬 수 있다. 또한 RLE는 “동일 알림 연속” 상황에만 유효하므로, 공격자가 알림 패턴을 교묘히 변형하면 손실 추정이 어려워진다. 향후 연구에서는 (1) 그래프 자동 업데이트 및 동적 파라미터 조정 메커니즘, (2) 다중 레벨 토큰 버킷을 활용한 계층적 레이트 리미팅, (3) 머신러닝 기반 알림 중요도 예측을 결합한 적응형 방어 체계 등을 탐색할 계획이다. 결론적으로, 본 논문은 토큰 버킷 필터와 공격 그래프 기반 실시간 상관을 결합해 알림 플러드 공격에 대한 효과적인 방어 메커니즘을 제시한다. 핵심 알림을 보호하면서 비핵심 알림을 효율적으로 차단함으로써 IDS 운영 비용을 크게 절감하고, 공격자가 대규모 플러드 공격을 수행하기 위한 자원을 비경제적으로 만들 수 있다.