메모리 분석 기반 악성코드 탐지와 XGBoost 효율성

초록

**
본 논문은 CIC MalMemAnalysis‑2022 메모리 덤프 데이터셋을 활용해 XGBoost 기반 이진 및 다중 클래스 악성코드 탐지 모델을 구축한다. 이진 분류에서 99.98% 정확도와 F1 점수, 다중 클래스에서는 87.54% 정확도와 81.26% F1 점수를 달성했으며, 50개 샘플을 처리하는 추론 시간은 각각 37.3 ms와 43.2 ms에 불과하다.

**

상세 분석

**
본 연구는 메모리 덤프에서 추출한 52개의 정량적 특성을 활용해 XGBoost 모델을 최적화한 점이 핵심이다. 데이터 전처리 단계에서 상수값을 갖는 3개 피처를 제거하고, 라벨 인코딩 및 최소‑최대 스케일링을 적용했으며, 클래스 비율을 유지하기 위해 층화(stratified) 방식으로 80:20 비율로 학습·테스트 셋을 분리하였다. 특히, 다중 클래스 설정에서 라벨을 알파벳 순서대로 0~3으로 매핑한 점은 모델이 클래스 간 순서를 오해하지 않도록 하는 좋은 설계이다.

모델 평가에는 5‑fold 층화 교차 검증을 도입해 과적합 위험을 최소화하고, 각 폴드마다 파이프라인 내에서 스케일링을 재적용함으로써 데이터 누수를 방지하였다. 비교 대상 알고리즘으로는 로지스틱 회귀, SVM, 랜덤 포레스트, LightGBM 등 총 9종을 실험했으며, 최종적으로 XGBoost가 가장 높은 정확도와 빠른 추론 속도를 보였다. XGBoost의 하이퍼파라미터는 트리 깊이, 학습률, 부스팅 라운드 등을 조정해 과적합을 억제하고 일반화 성능을 극대화하였다.

성능 결과를 보면 이진 분류에서 99.98%라는 거의 완벽에 가까운 정확도와 F1 점수를 기록했으며, 이는 기존 논문에서 보고된 99.00% 수준을 크게 상회한다. 다중 클래스에서는 전체 정확도 87.54%와 평균 F1 점수 75.03%를 달성했는데, 특히 ransomware(85.2%), spyware(73.8%), Trojan(71.5%) 등 각 서브클래스별 성능 차이가 존재한다. 이는 메모리 기반 특성이 특정 악성코드 유형을 구분하는 데 한계가 있음을 시사한다.

추론 속도 측정에서는 50개 샘플을 순차적으로 처리하는 데 이진 모델이 37.3 ms, 다중 모델이 43.2 ms에 머물러 실시간 탐지 요건을 충분히 만족한다. 이는 기존 연구에서 보고된 400 ms~3.56 s 수준보다 현저히 빠른 결과이다. 메모리 사용량과 모델 복잡도도 적절히 균형을 이루어, 제한된 리소스 환경에서도 적용 가능함을 보여준다.

한계점으로는 데이터셋이 특정 가상 환경(VirtualBox)과 Windows 10 기반이므로 실제 운영 체제에서의 일반화 가능성이 제한될 수 있다. 또한, 라벨이 4개(benign+3 malware)로 제한돼 있어 보다 세분화된 악성코드 분류에는 추가적인 특성 엔지니어링이 필요하다. 향후 연구에서는 딥러닝 기반 시퀀스 모델과 메모리 흐름 그래프를 결합하거나, 실시간 스트리밍 메모리 캡처와 연계한 엔드‑투‑엔드 파이프라인을 구축해 탐지 정확도와 적용 범위를 확대할 여지가 있다.

**