이미지 기반 랜덤 포레스트 악성코드 분류

초록

본 논문은 악성코드 바이너리를 이미지로 변환한 뒤, 랜덤 포레스트 모델을 적용해 0.9562의 높은 정확도로 여러 악성코드 패밀리를 분류하는 방법을 제안한다. 정적 서명 기반 탐지의 한계를 극복하고 시각적 특징을 활용함으로써 효과적인 악성코드 식별이 가능함을 입증한다.

상세 분석

본 연구는 기존 정적 분석이 코드 난독화와 패킹 등에 의해 크게 약화되는 문제점을 인식하고, 바이너리 파일을 2차원 이미지로 매핑하는 새로운 전처리 방식을 도입하였다. 이 과정에서 바이트값을 픽셀 강도로 변환하고, 일정한 크기의 그레이스케일 이미지로 정규화함으로써 서로 다른 파일 크기와 구조를 일관된 형태로 표현한다. 이미지화된 악성코드는 시각적 패턴—예를 들어, 특정 섹션의 반복적인 구조나 압축된 코드 블록—을 내포하게 되며, 이러한 패턴은 전통적인 문자열 기반 피처와는 독립적인 정보를 제공한다.

피처 추출 단계에서는 별도의 딥러닝 기반 자동 인코더를 사용하지 않고, 이미지 자체를 랜덤 포레스트의 입력 피처로 활용한다. 랜덤 포레스트는 다수의 결정 트리를 앙상블하여 과적합을 방지하고, 각 트리에서 이미지 픽셀값의 임계값을 기준으로 분할함으로써 비선형 경계와 복잡한 패턴을 효과적으로 학습한다. 특히, 랜덤 포레스트는 피처 중요도 평가가 가능해, 어느 이미지 영역이 악성코드 분류에 기여하는지 해석 가능성을 제공한다는 장점이 있다.

실험에서는 공개된 악성코드 데이터셋을 사용해 25개의 서로 다른 패밀리(예: Zeus, Conficker, WannaCry 등)를 대상으로 분류를 수행하였다. 데이터는 훈련/검증/테스트 7:2:1 비율로 분할했으며, 이미지 크기는 64×64 픽셀로 고정하였다. 모델 학습 시 트리 수를 500개로 설정하고, 각 트리의 최대 깊이를 제한함으로써 연산 비용을 최적화하였다. 결과적으로 전체 정확도는 0.9562, 정밀도와 재현율도 0.94 이상을 기록했으며, 특히 코드 난독화가 강한 샘플에서도 높은 식별률을 보였다.

한계점으로는 이미지 크기와 해상도 선택이 성능에 민감하게 작용한다는 점, 그리고 대규모 실시간 탐지 환경에서 이미지 변환 및 랜덤 포레스트 예측 비용이 여전히 부담될 수 있다는 점을 지적한다. 향후 연구에서는 차원 축소 기법(예: PCA)이나 경량화된 트리 기반 모델을 결합해 실시간 적용성을 높이는 방안을 모색할 수 있다. 또한, 이미지와 전통적인 정적 피처를 융합한 하이브리드 모델을 구축하면 악성코드 변종에 대한 견고성을 더욱 강화할 수 있을 것으로 기대된다.