동적 바이너리 계측 기반 자동 언패킹 프레임워크

초록

본 논문은 악성코드 분석에 사용되는 최신 언패킹 도구인 MmmBop을 소개한다. MmmBop은 동적 바이너리 계측(Dynamic Binary Instrumentation) 기법을 활용해 자체 변형(self‑modifying) 및 공격적인 패킹 코드를 실시간으로 추적·복원한다. 사용자 모드에서 순수히 구현되며, IA‑32 윈도우 XP 환경을 목표로 한다.

상세 분석

MmmBop은 기존 정적 분석 기반 언패커가 직면하는 두 가지 핵심 문제, 즉 코드 변형과 안티‑리버스 기술을 동적 계측으로 해결한다는 점에서 혁신적이다. 먼저, DBI 엔진을 이용해 실행 흐름을 가로채고, 각 기본 블록(Basic Block) 진입 시점에 레지스터와 메모리 상태를 기록한다. 이 과정에서 코드가 런타임에 재작성되는 경우, 원본 바이트 시퀀스를 복제하고, 변형된 코드를 별도의 버퍼에 재배치함으로써 원본 복원을 가능하게 한다. 또한, MmmBop은 “코드 인젝션 방지”, “예외 기반 흐름 교란”, “타이머 기반 탈출” 등 흔히 사용되는 안티‑디버깅/안티‑리버스 메커니즘을 자동 탐지한다. 탐지된 경우, 해당 명령을 무력화하거나 가짜 예외를 주입해 정상적인 계측 흐름을 유지한다.

특히, MmmBop은 “코드 섀도잉”(Code Shadowing) 기법을 도입한다. 이는 원본 코드와 동일한 크기의 메모리 영역을 미리 할당하고, 실행 중에 원본이 수정되면 해당 영역에 복제본을 저장한다. 이후 복제본을 기반으로 원본을 재구성함으로써, 복호화 루틴이 종료된 시점에 완전한 복호화된 바이너리를 얻을 수 있다. 이와 동시에, MmmBop은 “동적 트레이스 필터링”을 적용해 불필요한 시스템 콜이나 라이브러리 호출을 차단하고, 오직 패킹/복호화 로직에 집중한다.

성능 측면에서는, DBI 오버헤드가 존재하지만, MmmBop은 핵심 루틴에만 계측을 제한하고, 비핵심 루틴은 빠르게 패스한다. 실험 결과, 30여 종류의 상용 및 오픈소스 패커에 대해 평균 1.8배의 실행 시간 증가만을 보였으며, 대부분의 경우 100% 복호화 성공률을 기록했다. 또한, MmmBop은 외부 디버거나 가상화 환경을 감지했을 때, 자체적으로 환경을 위장하거나 가짜 정보를 제공해 탐지를 회피한다.

마지막으로, MmmBop은 완전한 독립형 도구로 설계되어 추가적인 서드파티 라이브러리 없이도 동작한다. 이는 배포와 유지보수 측면에서 큰 장점을 제공한다. 전체 아키텍처는 크게 세 부분으로 나뉜다: (1) DBI 코어, (2) 변형 감지 및 복제 모듈, (3) 안티‑리버스 대응 모듈. 각 모듈은 플러그인 형태로 확장 가능하도록 설계돼, 향후 새로운 패킹 기법이나 안티‑디버깅 기법이 등장해도 손쉽게 대응할 수 있다.