β VAE로 네트워크 침입 탐지하기: 잠재 공간 분석과 재구성 오류의 비교

본 논문은 정보기술(IT)과 운영기술(OT)의 융합이 진전됨에 따라 산업 환경에서 침입 탐지 시스템(IDS)의 중요성이 부각되는 배경에서 시작됩니다. 저자들은 레이블이 없는 비지도 학습 설정에서 네트워크 트래픽 이상을 탐지하기 위해 β-변분 오토인코더(β-VAE)를 NSL-KDD 데이터셋에 적용하는 방법을 연구합니다. 논문의 주요 내용은 다음과 같이 구성됩니다. **서론 및 배경**: OT/IT 융합 환경에서의 보안 필요성을 강조하며, 비지도 이상 탐지와 NSL-KDD 벤치마크 데이터셋의 가치를 설명합니다. β-VAE가 데이터의 저차원 잠재 표현을 학습할 수 있는 모델임을 소개하고, 재구성 오류와 잠재 공간 구조 활용이라는 두 가지 탐지 경로를 비교 분석할 것임을 밝힙니다. **관련 연구**: 비지도 이상 탐지 분야의 선행 연구를 검토하며, k-최근접 이웃(k-NN) 기반 방법부터 오토인코더(AE), 변분 오토인코더(VAE)를 활용한 방법에 이르기까지 발전 흐름을 정리합니다. 특히 잠재 공간에서의 거리 측정이나 클러스터링을 통해 이상을 탐지하려는 최근 연구 동향을 소개하며, 본 연구가 이 흐름에 기여함을 설명합니다. **방법론**: 구체적인 실험 방법을 상세히 기술합니다. NSL-KDD 데이터를 '정상' 훈련 세트, '정상' 테스트 세트, '공격' 데이터 세트로 재구성합니다. 데이터 전처리에는 범주형 특징에 대한 원-핫 인코딩, 연속형 특징에 대한 표준화가 포함됩니다. β-VAE 모델 구조는 8차원의 잠재 공간을 가지며, 인코더와 디코더는 각각 3개의 완전 연결 계층으로 구성됩니다. 손실 함수는 특징 유형(범주형, 부울형, 연속형)에 따라 다른 재구성 손실과 KL 발산 항을 β로 가중치를 두어 결합합니다. **이상 탐지 접근법**: 두 가지 구체적인 이상 탐지 알고리즘을 제시합니다. 1. **L_rec-분류**: 입력 데이터의 재구성 오류를 계산하여 임계값을 초과하면 이상으로 판단하는 전통적 방법. 2. **Z_k-분류**: 테스트 샘플을 인코더로 잠재 공간에 투영한 후, 훈련 세트 정상 데이터의 잠재 표현들 중 k개의 최근접 이웃까지의 평균 유클리드 거리를 계산합니다. 이 거리가 임계값을 넘으면 이상으로 분류합니다. **실험 결과 및 분석**: β 값(0부터 0.5까지)과 k 값(1부터 5000까지)을 다양하게 변화시키며 두 방법의 성능을 AUROC 지표로 비교합니다. 핵심 결과는 다음과 같습니다. - 재구성 오류(L_rec) 기반 방법은 β 변화에 대해 강건했지만, 최고 성능에 한계가 있었습니다. - 잠재 공간(Z_k) 기반 방법은 k 값이 클수록, 그리고 β 값이 매우 낮을 때(10^-5) 가장 우수한 성능을 보였습니다. - 최적 조건(β=10^-5, k=5000)에서 Z_k 방법의 평균 AUROC는 97.90%로, 동일 조건에서 L_rec 방법의 96.23%보다 우수했습니다. - 이는 충분히 많은 이웃을 참조하여 잠재 공간에서 정상 데이터의 분포를 효과적으로 모델링할 때, 재구성 오류만 활용하는 것보다 더 정확한 이상 탐지가 가능함을 의미합니다. **결론 및 향후 연구**: 잠재 공간의 구조적 정보를 활용하는 Z_k-분류 방법이 비지도 이상 탐지에 있어 재구성 오류 기반 방법과 견줄 만하거나 더 나은 성능을 보일 수 있음을 실험을 통해 입증했습니다. 이 방법은 모델의 판단에 대한 해석 가능성 측면에서도 장점이 있을 수 있습니다. 향후 연구 방향으로는 다른 거리 메트릭(마할라노비스 거리 등) 적용, 다양한 데이터셋에 대한 일반화 성능 검증, 그리고 하이브리드 접근법(L_rec과 Z_k 결합) 탐구 등을 제안합니다.