규칙 기반 악성코드 패밀리 진화 탐지와 직관적 설명

초록

본 논문은 RIPPER 기반 규칙 분류기를 이용해 악성코드 패밀리의 개념 드리프트를 정량적으로 탐지하고, 규칙 집합 간 유사도 비교를 통해 변화된 특징을 인간이 이해 가능한 형태로 설명한다. 6개 패밀리 실험에서 92 % 이상의 정확도를 달성하였다.

상세 분석

이 연구는 악성코드 탐지·분류에서 빈번히 발생하는 개념 드리프트를 “규칙 기반” 접근법으로 해결한다는 점에서 독창적이다. 먼저 RIPPER(Reduced Error Pruning) 알고리즘을 활용해 각 시점(원본 vs. 진화)마다 인간이 읽을 수 있는 IF‑THEN 규칙 집합을 생성한다. 규칙은 특징 x와 연산자(=, ≠, >, ≤ 등) 및 값 h의 조합으로 정의되며, 하나의 규칙은 다중 조건의 논리적 AND으로 구성된다. 두 시점의 규칙 집합을 Jaccard‑like 유사도 함수로 비교해 드리프트 정도를 수치화하고, 유사도가 낮은 규칙·조건을 추출함으로써 “어떤 특징이 어떻게 변했는가”를 명시한다.

핵심 기여는 다음과 같다. (1) 규칙 기반 분류기를 통해 드리프트 탐지를 동시에 설명 가능하게 만든 프레임워크 제시, (2) 규칙 집합 유사도 기반의 정량적 드리프트 측정 방법 고안, (3) 변형된 샘플을 생성하기 위해 강화학습 기반 MAB‑Malware 적대적 생성기를 활용, (4) 6개 대표 악성코드 패밀리(Agensla, DCRat, Makoo, Mokes, Strab, Taskun)에서 92.08 %의 높은 탐지 정확도 입증.

관련 연구와 비교했을 때, 기존 방법은 주로 블랙박스 모델(Ensemble, Deep NN)이나 통계적 변동 감지(Transcend, ADClust)에 의존해 드리프트 원인 파악이 어려웠다. 반면 본 접근은 규칙 자체가 설명이므로 보안 분석가가 즉시 변형된 API 호출, 패킹 기법, 코드 섹션 변조 등을 파악할 수 있다.

한계점으로는 규칙 학습이 데이터에 민감해 과도한 조건이 생성될 경우 규칙 집합이 복잡해져 해석 부담이 늘어날 수 있다. 또한 RIPPER는 연속형 특성 처리에 한계가 있어 사전 이산화가 필요하고, 드리프트가 미세하게 발생하면 유사도 임계값 설정이 어려울 수 있다. 향후 연구에서는 규칙 압축 기법, 다중 클래스·다중 시점 연속 비교, 그리고 실시간 스트림 환경에서의 자동 임계값 튜닝을 제안한다.