주소공간 투명성을 위한 커널 기반 프로세스 할로잉 분석 프레임워크

초록

HALF는 커널 지원 프로세스 할로잉을 이용해 분석 대상 프로그램과 동일한 가상 주소 공간을 공유함으로써, 기존 인‑프로세스 동적 분석 도구가 초래하는 메모리 충돌을 제거한다. 또한 페이지 폴트 기반 예외 구동 동기화 기법을 도입해 분석 로직을 별도 프로세스로 분리하면서도 IPC 비용을 최소화한다. Windows 환경에서 구현된 프로토타입은 레이아웃에 민감한 익스플로잇 및 은폐형 악성코드에 대해 높은 재현성을 유지하면서, 기존 DBI·DFT 기반 도구 대비 평균 2배 이상의 성능 향상을 보였다.

상세 분석

HALF가 제시하는 핵심 아이디어는 “주소공간 투명성”이다. 기존 동적 바이트‑레벨 추적 도구들은 타깃 프로세스 내부에 섀도 메모리(예: 512 MB 규모)를 미리 매핑해 메타데이터를 저장한다. 이 방식은 메모리 할당 패턴을 교란시켜 힙 스프레이, 고정 주소 할당 등 레이아웃에 민감한 공격 흐름을 방해한다는 근본적인 한계를 가지고 있다. HALF는 커널 모듈을 이용해 프로세스 할로잉을 수행한다. 구체적으로, 분석용 “컨테이너” 프로세스를 생성한 뒤, 커널 수준에서 원본 프로세스의 메모리 매핑을 그대로 복제하고, 코드 섹션만을 교체한다. 결과적으로 분석 컨테이너와 원본 프로세스는 동일한 가상 주소 레이아웃을 공유하지만, 실행 흐름은 독립적으로 유지된다. 이 구조는 섀도 메모리를 별도 프로세스에 배치함으로써 주소 충돌을 원천 차단한다.

또 다른 혁신은 예외‑구동 동기화 메커니즘이다. HALF는 공유 메모리 영역을 사전에 매핑하고, 분석 대상이 특정 메모리 페이지에 접근할 때 발생하는 페이지 폴트(또는 접근 위반) 예외를 트리거로 사용한다. 커널 모니터는 이 예외를 가로채고, 필요한 메타데이터(예: 레지스터 상태, 메모리 주소, 현재 명령어)를 공유 메모리에 기록한 뒤, 대상 프로세스에 즉시 복구 신호를 보낸다. 이렇게 하면 고빈도 이벤트를 전통적인 파이프·소켓 IPC로 전달할 필요가 없어, 동기화 오버헤드가 크게 감소한다.

성능 평가에서는 Windows 10 64‑bit 환경에서 대표적인 벤치마크(구글 크롬, MS Office)와 실제 악성코드(CVE‑2023‑21608 기반 어도비 리더 PoC, 은폐형 RAT)를 대상으로 측정했다. HALF는 동일한 추적 정확도를 유지하면서, 기존 libdft 기반 도구 대비 평균 1.8×~2.3×의 실행 속도 향상을 보였으며, 메모리 충돌로 인한 크래시 발생률은 0%에 수렴했다. 특히 레이아웃‑민감한 익스플로잇 재현 실험에서 HALF는 원본 행동을 100% 재현했지만, 기존 도구는 메모리 매핑 충돌로 인해 30% 이상 실패했다.

보안 관점에서 HALF는 두 가지 중요한 문제를 동시에 해결한다. 첫째, 분석 도구가 목표 프로그램의 메모리 레이아웃을 왜곡하지 않음으로써, 안티‑디버깅·안티‑인스트루멘테이션 기술을 우회한다. 둘째, 분석 로직을 별도 프로세스로 분리하면서도 IPC 비용을 최소화해, 실시간 악성코드 탐지·포렌식 시나리오에서도 실용적인 성능을 제공한다. 이러한 설계는 향후 커널‑레벨 가상화, 멀티‑코어 병렬 추적 등과 결합될 경우, 더욱 높은 확장성을 기대할 수 있다.