동적 악성코드 분석 도구 비교 프레임워크

초록

본 논문은 동적 악성코드 분석에 사용되는 도구들을 함수 호출 모니터링과 정보 흐름 추적이라는 두 핵심 기술을 기준으로 체계적으로 비교한다. 제안된 프레임워크는 구현 전략, 분석 접근 방식, 시스템 전반 지원 여부, 바이너리 처리 능력 등을 평가 항목으로 정의하여 연구자와 분석가가 목적에 맞는 최적의 도구를 선택하도록 돕는다.

상세 분석

논문은 먼저 정적 분석이 직면한 한계, 즉 코드 난독화와 폴리모픽 변형으로 인한 시그니처 기반 탐지 회피 문제를 짚고, 동적 분석이 실제 실행 시 행동을 관찰함으로써 이러한 회피 기법을 극복한다는 점을 강조한다. 동적 분석 기법 중에서도 함수 호출 모니터링(Function Call Monitoring, FCM)과 정보 흐름 추적(Information Flow Tracking, IFT)은 각각 실행 흐름과 데이터 흐름을 포착한다는 점에서 상호 보완적이다. FCM은 API 호출, 시스템 콜, 라이브러리 함수 등을 실시간으로 기록해 악성코드가 어떤 외부 자원을 이용하는지 파악한다. 반면 IFT는 메모리 주소 간 데이터 전파를 추적해 민감 정보(키, 인증서, 파일 경로 등)의 유출 경로를 밝힌다.

이 두 기술을 구현한 도구들은 설계 철학에 따라 크게 네 가지 축으로 구분된다. 첫째, 시스템 수준 지원 여부이다. 일부 도구는 가상 머신(VM)이나 샌드박스 환경에 종속돼 전체 OS 레벨에서 동작하지만, 다른 도구는 사용자 모드 혹은 커널 모드에서만 동작해 분석 범위가 제한된다. 둘째, 바이너리 처리 방식이다. 네이티브 실행 파일, 스크립트, 패키징된 실행 파일 등 다양한 포맷을 지원하는지, 혹은 특정 포맷에만 최적화돼 있는지를 평가한다. 셋째, 분석 접근 방식이다. 동기식(실시간) 기록 vs 비동기식(사후) 로그 분석, 혹은 하이브리드 방식이 존재한다. 넷째, 구현 전략이다. 오픈소스 기반인지, 상용 솔루션인지, 혹은 자체 개발된 플러그인 형태인지에 따라 확장성 및 비용 구조가 달라진다.

논문은 이러한 평가 항목을 매트릭스로 정리하고, 실제 12개의 대표적인 동적 분석 도구(FireEye, Cuckoo Sandbox, PANDA, Intel Pin, DynamoRIO 등)를 대상으로 실험적 비교를 수행한다. 실험에서는 동일한 악성 샘플을 각 도구에 투입해 함수 호출 로그의 완전성, 정보 흐름 추적의 정확도, 오버헤드(성능 저하), 그리고 분석 환경의 복제 가능성을 측정했다. 결과는 FCM 기반 도구가 API 호출 포착에서는 높은 정확도를 보였으나, 데이터 유출 경로를 식별하는 데는 IFT 기반 도구가 우수함을 보여준다. 또한, 커널 레벨에서 동작하는 도구는 루트킷이나 커널 모드 악성코드 탐지에 강점을 가지지만, 가상화 환경에서의 탐지 회피 기술에 더 취약한 경향이 있었다.

핵심 인사이트는 다음과 같다. 1) 단일 기술에 의존하기보다는 FCM과 IFT를 결합한 하이브리드 분석이 가장 포괄적인 악성 행위 파악을 가능하게 한다. 2) 분석 대상이 모바일 혹은 임베디드 시스템인 경우, 경량화된 사용자 모드 도구가 오버헤드 문제를 최소화한다. 3) 오픈소스 기반 도구는 플러그인 확장이 용이해 최신 악성 기법에 신속히 대응할 수 있지만, 상용 솔루션은 정교한 안티-에비던스(anti‑evasion) 메커니즘을 제공한다는 점에서 선택 시 트레이드오프를 고려해야 한다. 4) 프레임워크가 제시하는 평가 매트릭스는 도구 선택뿐 아니라 자체 분석 파이프라인을 설계할 때도 가이드라인으로 활용될 수 있다.