불균형 IDS 데이터에서 저주파 사이버 공격을 평가하기 위한 MCC 활용 방안

초록

본 연구는 CSE‑CIC‑IDS2017 데이터셋의 저빈도 공격(Heartbleed, Web Attack, Infiltration)을 대상으로, 전통적인 정확도와 불균형에 강인한 Matthews Correlation Coefficient(MCC)를 비교한다. 기본 분류기와 AdaBoost·LogitBoost·Bagging 등 메타‑앙상블을 포함한 10여 종류의 모델을 10‑fold 교차검증으로 평가한 결과, 정확도는 대부분 99 % 이상으로 과대평가되는 반면, MCC는 실제 공격 탐지 능력을 명확히 구분한다. 특히 메타‑앙상블이 MCC 기준에서 우수한 성능을 보이며, MCC가 저주파 사이버 공격 탐지 성능을 평가하는 데 더 신뢰할 수 있음을 확인하였다.

상세 분석

이 논문은 네트워크 침입 탐지 시스템(IDS) 연구에서 흔히 간과되는 ‘평가 지표 선택’ 문제를 체계적으로 조명한다. 먼저, 실제 운영 환경에서 악성 트래픽은 전체 흐름의 극히 일부에 불과하다는 점을 강조하고, 이러한 극심한 클래스 불균형이 정확도(Accuracy)를 왜곡시키는 메커니즘을 설명한다. 정확도는 TP+TN을 전체 샘플 수로 나누는 단순 비율이므로, 다수 클래스인 정상 트래픽을 올바르게 예측하는 것만으로도 높은 점수를 얻는다. 결과적으로 모델이 공격을 전혀 탐지하지 못해도 99 % 이상의 정확도를 기록할 수 있다.

이에 대한 대안으로 논문은 MCC를 채택한다. MCC는 TP·TN·FP·FN 네 요소를 모두 고려해 −1~1 사이의 값을 산출하며, 클래스 비율에 독립적인 특성을 가진다. 특히, TP와 FN이 극소인 상황에서도 FP와 TN이 균형을 이루면 낮은 MCC가 도출되어 모델의 실제 한계를 드러낸다.

실험 설계는 세 가지 저주파 공격에 대해 각각 별도의 서브셋을 만든 뒤, WEKA 환경에서 10‑fold 교차검증을 수행한다. 기본 분류기(LR, RF, NB, J48, JRip)와 메타‑앙상블(AdaBoostM1, LogitBoost, Bagging, RandomSubSpace, RandomCommittee)을 비교함으로써, ‘단일 모델 vs. 앙상블’ 접근법이 불균형 상황에서 어떻게 차별화되는지를 정량화한다.

결과는 두드러진 패턴을 보인다. Infiltration과 Heartbleed처럼 공격 비율이 0.02 % 수준인 경우, 대부분의 모델가 99.9 % 이상의 정확도를 기록했지만 MCC는 0에서 0.99까지 크게 분포한다. 특히 DecisionTree와 ClassificationViaRegression은 모든 공격을 탐지해 MCC 0.986, 0.994를 달성했으며, 이는 정확도만으로는 파악할 수 없는 차이를 명확히 보여준다. 반면, 일부 모델은 정확도 99.99 %에도 불구하고 MCC가 0에 머물러 전혀 공격을 감지하지 못함을 확인한다.

Web Attack 데이터셋(9.8 % 공격 비율)에서는 정확도와 MCC가 어느 정도 일치하는 경향을 보였지만, 여전히 정확도 99.8 % 수준의 모델 중 일부는 MCC가 0.95 이하로 떨어져 미세한 오탐이 존재함을 드러낸다. 이는 불균형이 완화될수록 정확도가 어느 정도 신뢰성을 회복하지만, 여전히 MCC가 세밀한 성능 차이를 포착한다는 점을 시사한다.

메타‑앙상블의 전반적인 우수성도 눈에 띈다. 특히 LogitBoost와 AdaBoost는 대부분의 경우 MCC가 0.94 이상으로, 기본 분류기보다 일관된 소수 클래스 탐지 능력을 보여준다. 이는 앙상블이 다수 모델의 약점을 보완하고, 재샘플링·가중치 조정을 통해 소수 클래스에 대한 민감도를 높이는 메커니즘이 효과적임을 의미한다.

마지막으로 논문은 평균 MCC를 기준으로 모델을 종합 순위화한다. FilteredClassifier(95.53 %)와 ClassificationViaRegression(94.93 %)이 상위에 오르며, JRip과 RandomForest도 평균 93 % 수준으로 경쟁력을 유지한다. 이는 메타‑앙상블이 전반적으로 우수하지만, 잘 설계된 단일 모델도 충분히 높은 MCC를 달성할 수 있음을 보여준다.

전체적으로 이 연구는 IDS 평가에 MCC를 도입함으로써, 실제 운영 환경에서 중요한 저주파 공격 탐지 능력을 정확히 측정할 수 있음을 입증한다. 또한, 메타‑앙상블이 불균형 데이터에서 강인한 성능을 제공한다는 실증적 근거를 제시함으로써, 향후 IDS 설계 및 벤치마크에 중요한 가이드라인을 제공한다.