윈도우 커널 메모리 보호를 위한 하이퍼바이저 기반 실시간 방어 시스템 AllMemPro

초록

AllMemPro는 하이퍼바이저를 활용해 Windows 커널 드라이버가 동적으로 할당하는 메모리 영역을 실시간으로 추적·감시하고, 1바이트 단위까지 무결성과 기밀성을 보장한다. 소스 코드가 없어도 적용 가능하며, 최신 Windows 10 1709 x64 환경에서 낮은 성능 오버헤드로 동작한다.

상세 분석

AllMemPro는 기존 OS 수준 보안 메커니즘이 커널 모드 드라이버가 할당한 메모리의 무결성·기밀성을 보장하지 못한다는 문제점을 인식하고, 하이퍼바이저 레이어에서 메모리 접근을 강제 제어한다는 근본적인 설계 전환을 시도한다. 핵심은 두 가지 단계로 나뉜다. 첫 번째는 ExAllocatePoolWithTag, ExFreePool 등 커널 메모리 할당 API를 가로채어 각 드라이버별 할당 리스트를 실시간으로 구축하는 것이다. 이때 할당 주소와 크기, 태그, 호출 스택 정보를 메타데이터에 저장하고, 해당 페이지에 대해 EPT(Extended Page Table) 권한을 ‘읽기‑쓰기‑실행 금지’ 상태로 설정한다. 두 번째 단계는 CPU가 해당 페이지에 접근하려 할 때 발생하는 VM‑exit 이벤트를 이용해 AllMemPro가 중재한다. 접근 요청이 합법적인 드라이버(예: 메모리를 할당한 드라이버)에서 온 경우에만 EPT 권한을 일시적으로 허용하고, 그 외의 커널 모드 코드나 악성 루트킷이 접근하면 즉시 차단하고 로그를 남긴다.

무결성 보호는 쓰기 접근을 감시해 비정상적인 수정 시도를 탐지하고, 필요 시 원본 데이터를 복구하거나 시스템을 안전 모드로 전환한다. 기밀성 보호는 읽기 접근을 제한하거나, 민감 데이터에 대해 하이퍼바이저 레벨에서 AES‑256 기반 암호화를 적용해 메모리 덤프 공격을 방어한다. 특히 AllMemPro는 1바이트 단위의 미세 조정 공격까지 차단하도록 설계돼, 기존 페이지 단위 보호 메커니즘이 놓치는 미세 변조를 포착한다.

성능 측면에서는 EPT 권한 전환과 VM‑exit 처리에 따른 오버헤드를 최소화하기 위해, 자주 접근되는 메모리 영역에 대해 ‘핫패스’ 캐시를 두어 연속적인 접근은 VM‑exit 없이도 허용한다. 실험 결과, 평균 23%의 CPU 사용량 증가와 57 µs 수준의 지연만을 보였으며, 이는 산업용 CNC 제어와 같은 실시간 시스템에서도 수용 가능한 수준이다.

한계점으로는 하이퍼바이저 자체가 신뢰된 루트 환경에 존재해야 한다는 전제와, 최신 Windows 11에서 도입된 Hypervisor‑Protected Code Integrity(HvPCI)와의 호환성 검증이 아직 부족하다는 점을 들 수 있다. 또한, 메타데이터 관리에 사용되는 메모리 영역이 공격 표면이 될 수 있어, 별도의 무결성 검증 체계가 필요하다. 그럼에도 불구하고, AllMemPro는 소스 코드가 없는 제3자 드라이버에도 적용 가능하다는 점에서, 기존 안티‑루트킷 솔루션보다 확장성이 뛰어나며, 커널 레벨 데이터 보호에 새로운 패러다임을 제시한다.