하이비스 윈도우 메모리 인트로스펙션 기반 보호 시스템

초록

본 논문은 하이퍼바이저 위에 구축된 메모리 인트로스펙션 프레임워크인 HyBIS를 제안한다. HyBIS는 Windows 게스트 VM의 물리 메모리를 실시간으로 분석해 커널‑레벨 루트킷 및 악성코드를 탐지·제거한다. 64‑bit 환경과 최신 Windows 8.x·10을 지원하며, 의미론적 인트로스펙션을 통해 프로세스, 모듈, 시스템 콜 테이블 등을 정확히 파악한다. 실험 결과는 기존 솔루션 대비 높은 탐지율과 낮은 오버헤드를 보여준다.

상세 분석

HyBIS는 하이퍼바이저 레이어에서 게스트 메모리를 직접 읽어 들이는 방식으로, 전통적인 안티바이러스가 접근하기 어려운 커널 영역까지 투명하게 관찰한다. 핵심은 “Semantic Introspection”이라 부르는 기법으로, 단순 바이트 패턴 매칭을 넘어 OS 구조체와 데이터베이스를 해석해 실제 실행 중인 프로세스와 로드된 드라이버, 시스템 콜 테이블 등을 식별한다. 이를 위해 HyBIS는 Windows 8.x·10의 내부 구조를 사전 조사하고, 각 버전별 커널 데이터 구조(EPROCESS, KTHREAD, DRIVER_OBJECT 등)의 오프셋을 동적으로 추출한다. 이러한 동적 오프셋 추출은 메모리 레이아웃 랜덤화(KASLR)와 같은 최신 보안 메커니즘을 우회하는 데 필수적이다.

아키텍처는 크게 세 부분으로 나뉜다. 첫째, 하이퍼바이저 모듈은 VMExit 이벤트를 가로채고, 메모리 스냅샷을 주기적으로 생성한다. 둘째, 인트로스펙션 엔진은 스냅샷을 파싱해 OS 객체를 재구성하고, 악성 코드 특유의 행동(예: 비정상적인 코드 삽입, 숨김 프로세스 생성)을 탐지한다. 셋째, 대응 모듈은 감지된 위협을 격리하거나 해당 메모리 페이지를 무력화한다. 특히, HyBIS는 “Malware Disabling” 기능을 제공해, 악성 코드가 위치한 페이지를 읽기 전용으로 전환하거나, 해당 모듈을 커널 로드 테이블에서 제거함으로써 실행을 차단한다.

성능 측면에서 HyBIS는 메모리 스냅샷 주기를 1초 이하로 설정해도 평균 CPU 오버헤드가 3~5%에 머물며, 이는 기존 하이퍼바이저 기반 IDS와 비교해 현저히 낮은 수치다. 또한 64‑bit 가상 머신을 완전 지원함으로써, 현재 기업 환경에서 널리 사용되는 Windows 10 엔터프라이즈 에디션까지 보호 범위를 확대한다.

한계점으로는 초기 오프셋 추출 단계에서 최신 패치가 적용된 커널에 대한 업데이트가 필요하며, 복잡한 커스텀 드라이버가 존재할 경우 오탐률이 상승할 수 있다. 또한, 하이퍼바이저 자체가 공격 표면이 될 가능성을 완전히 배제할 수 없으므로, 하이퍼바이저 보안 강화와 정기적인 검증이 필수적이다.