정적 악성코드 탐지와 회피 머신러닝과 기존 안티바이러스의 견고성 비교

초록

본 논문은 정적 분석 기반 악성코드 탐지 시스템을 대상으로, 머신러닝 기반 모델과 전통적인 안티바이러스(AV) 제품의 회피 저항성을 새로운 테스트 프레임워크로 정량화한다. 알려진 정상·악성 파일에 대해 다양한 변조(패킹, 난독화, 코드 삽입 등)를 적용하고, 변조 전후의 탐지 성능 변화를 측정함으로써 각 시스템의 견고성을 비교한다. 실험 결과, 머신러닝 모델은 변조에 대한 탐지 성능 저하가 상대적으로 적어 회피에 더 강인하지만, 완전히 새로운 공격 패턴이 등장했을 때 적응 속도가 느린 한계를 보인다.

상세 분석

이 연구는 정적 악성코드 탐지 분야에서 머신러닝(ML) 기반 솔루션과 기존 시그니처·휴리스틱 기반 안티바이러스(AV) 제품의 실제 방어 능력을 비교하기 위해, “성능 변화 기반 회피 견고성 평가”라는 새로운 실험 설계를 제안한다. 먼저, 연구진은 공개된 악성·정상 파일 집합을 구축하고, 각 파일에 대해 대표적인 변조 기법 5가지를 적용한다. 변조 기법은 (1) UPX와 같은 일반적인 패커 적용, (2) 난독화 도구를 이용한 문자열 및 API 호출 교체, (3) 무작위 코드 삽입으로 파일 크기와 섹션 구조 변형, (4) 메타데이터(디지털 서명, 타임스탬프) 위조, (5) 다중 변조 조합이다. 이러한 변조는 실제 공격자가 악성코드를 회피하기 위해 사용하는 전형적인 전술을 모사한다.

성능 평가는 원본 파일에 대한 탐지 정확도와 변조 후 파일에 대한 탐지 정확도의 차이(ΔAccuracy)로 정의한다. ΔAccuracy가 작을수록 해당 시스템이 변조에 강인함을 의미한다. 실험에 사용된 ML 모델은 정적 특징(바이너리 바이트 n-gram, 임포트 테이블, PE 헤더 메트릭 등) 기반의 랜덤 포레스트와 딥러닝 기반 CNN 두 종류이며, AV 제품은 시장 점유율 상위 3개를 선정해 동일 파일 집합에 대해 스캔한다.

결과는 두 가지 주요 패턴을 보여준다. 첫째, ML 모델은 변조 기법별 ΔAccuracy가 평균 46% 수준으로, AV 제품의 1218%에 비해 현저히 낮다. 특히 난독화와 코드 삽입에 대해 ML은 특징 추출 단계에서 여전히 유의미한 패턴을 포착한다는 점이 강조된다. 둘째, 완전 새로운 변조(예: 최신 난독화 스크립트와 맞춤형 패커 결합)에서는 모든 시스템의 탐지율이 급격히 떨어진다. 특히 ML 모델은 사전 학습 데이터에 포함되지 않은 변조에 대해 재학습 없이 성능 회복이 어려워, “적응 속도”가 AV보다 뒤처진다.

논문은 또한 실험 설계의 한계도 언급한다. 정적 분석만을 사용함으로써 동적 행동 기반 탐지와의 비교가 불가능하고, 변조 기법 선택이 연구자의 주관에 의존한다는 점이다. 또한, AV 제품의 업데이트 주기와 백신 정의 파일 버전 차이가 결과에 영향을 미칠 수 있다. 그럼에도 불구하고, 변조 전후 성능 변화를 정량화한 접근법은 “실제 공격 시나리오에서 방어 체계의 견고성을 측정”한다는 점에서 의미가 크다.

이러한 분석을 통해, 보안 담당자는 ML 기반 정적 탐지 솔루션을 도입할 경우 변조 회피에 대한 기본적인 방어 능력이 향상될 수 있음을 인지하고, 동시에 지속적인 모델 업데이트와 새로운 변조 패턴에 대한 학습 파이프라인을 구축해야 함을 시사한다.