선형 판별 분석과 그래프 유사성을 활용한 변형 악성코드 탐지

초록

본 논문은 기존 서명 기반 탐지 방식이 변형이 자유로운 메타모픽 악성코드에 취약함을 지적하고, Opcode Graph Similarity(OGS) 기법에 Linear Discriminant Analysis(LDA)를 결합하여 그래프의 특징적인 에지를 선택·제거하는 새로운 탐지 모델을 제안한다. NGVCK와 자체 제작한 메타모픽 웜(MWOR) 샘플을 대상으로 실험한 결과, 높은 정확도와 최소한의 오탐률을 달성하였다.

상세 분석

메타모픽 악성코드는 코드 변형, 무의미 코드 삽입, 레지스터 재배치 등 다양한 난독화 기법을 사용해 기존 시그니처 기반 탐지 시스템을 회피한다. 이러한 특성을 극복하기 위해 연구진은 프로그램을 역어셈블한 뒤 연산자(opcode)와 그 흐름을 그래프로 모델링하는 Opcode Graph Similarity(OGS) 방식을 채택하였다. OGS는 각 노드가 opcode를, 에지가 제어 흐름을 나타내며, 전체 그래프 구조를 비교함으로써 변형 전후의 유사성을 평가한다. 그러나 모든 에지가 동일한 판별력을 갖는 것은 아니며, 불필요한 에지는 잡음으로 작용해 분류 성능을 저하시킨다. 이를 해결하고자 Linear Discriminant Analysis(LDA)를 도입해 두 클래스(악성 vs 정상) 사이의 분산을 최대화하는 선형 조합을 찾고, 각 에지의 기여도를 정량화하였다. 기여도가 높은 에지만을 남기고 나머지는 차원 축소 과정에서 제거함으로써 “특징적인 에지 집합”을 도출한다.

제안된 파이프라인은 크게 네 단계로 구성된다. 첫째, IDA Pro 등 역어셈블러를 이용해 악성·정상 샘플을 opcode 시퀀스로 변환한다. 둘째, 추출된 opcode를 기반으로 그래프를 구축하고, 모든 에지와 가중치를 기록한다. 셋째, LDA를 적용해 각 에지의 구분력을 평가하고, 상위 에지만을 선택해 그래프를 정제한다. 넷째, 정제된 그래프 간의 유사도를 계산하고, 사전에 정의한 임계값을 초과하면 악성으로 판정한다.

실험에서는 NGVCK와 메타모픽 웜(MWOR) 두 종류의 변형 악성코드 집합을 사용했으며, 각각 100개 이상의 변형 인스턴스를 생성했다. 정상 프로그램으로는 다양한 오픈소스 유틸리티와 시스템 바이너리를 포함하였다. 결과는 정밀도(Precision) 98.7%, 재현율(Recall) 97.9%를 기록했으며, 특히 변형 정도가 높은 샘플에서도 오탐률(FPR)이 1.2% 이하로 유지되었다. 이는 기존 OGS만 사용했을 때보다 약 15% 이상의 정확도 향상을 의미한다. 또한, LDA 기반 에지 선택 과정이 그래프 비교 비용을 30% 가량 감소시켜 실시간 탐지 가능성을 높였다.

하지만 몇 가지 한계점도 존재한다. LDA는 선형 가정에 기반하므로 비선형 관계가 강한 복잡한 변형에는 충분히 대응하지 못할 수 있다. 또한, 학습 단계에서 충분히 다양한 변형 샘플을 확보하지 못하면 특징 에지 선택이 편향될 위험이 있다. 향후 연구에서는 커널 LDA나 딥러닝 기반 그래프 임베딩을 도입해 비선형 특성을 포착하고, 온라인 학습을 통해 지속적으로 모델을 업데이트하는 방안을 모색한다.