빅데이터 기반 다변량 침입 탐지와 진단

본 논문은 사이버 보안 분야에서 대규모·고속·다양한 로그 데이터를 효과적으로 처리하고, 이상 탐지와 동시에 원인 진단을 제공하는 통합 프레임워크인 Multivariate Big Data Analysis(MBDA)를 제안한다. 연구 배경으로는 기존의 이상 탐지 기법이 주로 비지도형 머신러닝(예: PCA, OCSVM, 딥러닝) 기반으로 “이상 여부”만을 판단하고, 탐지 후 로그를 수동으로 추적해야 하는 비효율성이 있다. 이러한 문제를 해결하기 위해 저자들은 다변량 통계 공정 관리(MSPC)의 확장인 Multivariate Statistical Network Monitoring(MSNM) 기법을 핵심으로 채택하고, 이를 빅데이터 환경에 맞게 5단계 프로세스로 구조화하였다. 1️⃣ Parsing 단계에서는 FCParser라는 파이썬 기반 도구를 사용해 구조화·비구조화 로그에서 정규표현식으로 “카운터형” 피처를 추출한다. 피처는 특정 이벤트(예: 특정 포트 트래픽, 특정 문자열 등장 횟수)가 일정 시간 구간에 발생한 횟수이며, 이는 다양한 데이터 소스(NetFlow, IDS, 방화벽 로그 등)를 동일한 형태로 변환한다. 2️⃣ Fusion 단계에서는 서로 다른 소스의 피처를 동일 샘플링 레이트로 맞춘 뒤, 차원을 늘린 하나의 피처 스트림으로 결합한다. 이 과정은 고차원 데이터 행렬을 생성하지만, PCA가 이후 차원 축소와 이상 탐지를 담당한다. 3️⃣ Detection 단계에서는 MEDA Toolbox를 이용해 PCA 모델을 학습한다. PCA는 데이터의 공분산 구조를 기반으로 주성분을 도출하고, 각 관측치에 대해 Hotelling’s T²(D‑stat)와 Q‑stat(잔차 통계)를 계산한다. D‑stat는 모델이 설명하는 변동 범위 내에서의 이상을, Q‑stat는 모델이 설명하지 못하는 잔차 영역의 이상을 포착한다. 임계값을 초과하는 시점이 이상 발생 시점으로 기록된다. 4️⃣ Pre‑diagnosis 단계에서는 이상 시점에 기여한 피처를 역추적한다. PCA의 로딩 행렬을 활용해 어느 피처가 주성분에 크게 기여했는지, 혹은 잔차에 크게 영향을 미쳤는지를 정량적으로 파악한다. 이를 통해 “어떤 로그 항목이 비정상적인 변동을 일으켰는가”를 명확히 할 수 있다. 5️⃣ De‑parsing 단계에서는 앞서 도출된 피처와 타임스탬프 정보를 기반으로 원시 로그를 역검색한다. FCParser가 원시 로그와 피처 간 매핑 정보를 보관하고 있기 때문에, 특정 피처가 비정상적으로 증가한 구간에 해당하는 원시 레코드를 빠르게 추출한다. 이렇게 복원된 로그는 보안 분석가에게 제공되어 공격 경로, 원인, 영향을 신속히 파악하게 한다. 논문은 두 가지 실험을 통해 MBDA의 효용성을 검증한다. 첫 번째 사례는 VAST 2012 Mini Challenge 2 데이터셋으로, 반구조화된 로그를 파싱·퓨전·탐지·진단·디파싱까지 전 과정을 수행하였다. 결과는 100% 탐지율, 0% 오탐, 그리고 정확한 로그 복원을 보여주며, 전체 파이프라인을 가상 머신 이미지로 공개해 재현성을 확보했다. 두 번째 사례는 실제 기업 네트워크에서 수집한 대규모 NetFlow와 IDS 로그(수백만 레코드)이며, 라벨링된 공격 이벤트와 정상 트래픽을 포함한다. 여기서 MBDA는 Spark 기반 클러스터링 및 기존 PCA 기반 방법과 비교해 동일하거나 더 높은 탐지 성능을 보였으며, 특히 공격 발생 시점에 해당하는 원시 로그를 정확히 복원해 공격 유형(예: DDoS, 포트 스캔, 악성 코드 전파)과 원인을 즉시 제시했다. 또한, 저자들은 MBDA가 오픈소스인 MEDA Toolbox와 FCParser 두 패키지에 기반함을 강조한다. 이는 연구자와 실무자가 별도 라이선스 비용 없이 바로 적용·확장할 수 있음을 의미한다. 파싱 단계에서 전문가가 정의한 정규표현식만 제공하면 다양한 로그 포맷에 적용 가능하고, PCA 모델은 온라인 재학습 없이도 새로운 데이터에 대해 실시간 이상 감지를 수행한다. 결론적으로, 본 연구는 “볼륨·베로시티·버라이어티” 3V 특성을 모두 만족하는 빅데이터 기반 침입 탐지 프레임워크를 제시한다. 기존 머신러닝 기반 솔루션이 탐지 후 로그 분석에 많은 인적·시간적 비용을 요구하는 반면, MBDA는 탐지와 동시에 원시 로그를 역추적해 보안 팀이 즉각적인 대응을 할 수 있게 한다. 이는 보안 인력 부족 문제를 완화하고, 평균 탐지·대응 시간(MTTR)을 크게 단축시킬 수 있는 실용적인 접근법이라 할 수 있다.