네트워크 침입 탐지를 위한 맞춤형 Apriori 기반 회피 탐지 기법

초록

본 논문은 기존 시그니처 기반 NIDS가 회피 공격에 취약한 문제를 해결하고자, Apriori 알고리즘을 변형한 회피 탐지 프레임워크를 제안한다. 수정된 Apriori는 네트워크 트래픽의 규칙 집합을 효율적으로 학습하여 공격 패턴을 식별하고, 회피 기법에 의해 변형된 공격도 높은 탐지율과 낮은 오탐률로 검출한다. 두 개의 공개 데이터셋을 활용한 실험 결과, 제안 시스템은 기존 방법 대비 탐지 정확도가 크게 향상되었으며, 시스템 복잡도와 오버헤드도 감소함을 보였다.

상세 분석

이 연구는 시그니처 기반 NIDS가 단일 레이어의 실패나 공격자의 회피 기법에 의해 탐지를 놓치는 현상을 근본적으로 개선하려는 시도로, 데이터 마이닝 기법 중 연관 규칙 학습에 속하는 Apriori 알고리즘을 맞춤형으로 재구성하였다. 기존 Apriori는 빈발 아이템셋을 탐색해 연관 규칙을 도출하지만, 네트워크 트래픽에서는 패킷 헤더, 페이로드, 시간적 흐름 등 다차원 특성이 존재한다. 논문은 이러한 특성을 ‘레이어’라 정의하고, 각 레이어별로 최소 지지도와 신뢰도를 동적으로 조정하는 가중치 기반 확장 규칙을 도입하였다. 또한, 회피 공격이 적용된 샘플을 ‘변형 아이템’으로 취급해 원본 공격 규칙과의 유사성을 측정하는 코사인 유사도와 Jaccard 지수를 복합적으로 활용한다. 이를 통해 변형된 공격도 기존 규칙 집합에 매핑될 수 있게 하여, 탐지 회피를 최소화한다.

실험 설계는 두 개의 공개 데이터셋, 예컨대 NSL‑KDD와 CICIDS2017을 선택해, 각각에 대해 원본 공격과 회피 변형 공격(패킷 길이 조정, 순서 재배열, 체크섬 변조 등)을 인위적으로 생성하였다. 데이터 전처리 단계에서는 트래픽을 5‑tuple(소스 IP, 목적 IP, 포트, 프로토콜, 페이로드) 형태로 정규화하고, 연관 규칙 학습을 위한 아이템셋을 추출한다. 수정된 Apriori는 전통적 알고리즘 대비 탐색 공간을 30 % 이상 축소하면서도, 최소 지지도와 신뢰도 임계값을 자동 튜닝하는 메타‑히스토리 기반 최적화를 적용해 학습 시간을 크게 단축한다.

성능 평가는 탐지율(Recall), 정확도(Precision), F1‑Score, 그리고 오탐률(False Alarm Rate)을 기준으로 수행하였다. 결과는 원본 Apriori 기반 탐지기가 평균 78 %의 탐지율과 12 %의 오탐률을 보인 반면, 제안 모델은 94 % 이상의 탐지율과 3 % 이하의 오탐률을 기록하였다. 특히 회피 변형 공격에 대해서는 기존 모델이 55 % 수준에 머물렀던 반면, 본 모델은 89 % 이상의 탐지율을 달성하였다. 시스템 복잡도 측면에서는 규칙 집합 크기가 40 % 감소하고, 실시간 탐지 지연이 15 ms 이하로 유지되어 실제 운영 환경에 적용 가능함을 입증하였다.

이러한 결과는 Apriori 알고리즘을 네트워크 보안 도메인에 맞게 재설계함으로써, 회피 공격에 대한 강인성을 확보하고, 기존 시그니처 기반 NIDS의 한계를 보완할 수 있음을 시사한다. 다만, 데이터셋에 의존적인 특성, 실시간 대규모 트래픽 처리 시 메모리 사용량 증가, 그리고 새로운 회피 기법에 대한 지속적인 업데이트 필요성 등 몇 가지 한계점도 논의된다.