GPU 가속 메모리 포렌식으로 제로데이 악성코드 탐지 가속화

초록

본 논문은 최신 은폐형 제로데이 악성코드의 메모리 덤프 분석을 위해 Shannon 엔트로피, 디지털 사진측량, Zipf‑Mandelbrot 법칙, 디스어셈블링을 결합한 탐지 기법을 제안하고, CUDA 기반 GPU 가속 아키텍처로 처리 속도를 크게 향상시키는 방안을 제시한다.

상세 분석

이 연구는 현재 안티‑포렌식 기술이 고도화된 ‘최고 은폐형’ 악성코드 시나리오를 가정하고, 기존 메모리 포렌식 도구가 갖는 탐지 한계를 극복하기 위한 다중 분석 파이프라인을 설계했다. 첫 번째 단계는 메모리 페이지별 Shannon 엔트로피를 고해상도 그리드 형태로 계산해, 정상 코드와 암호화/압축된 페이로드 사이의 통계적 차이를 시각화한다. 엔트로피 값만으로는 고도화된 패딩 기법을 회피하는 경우가 많아, 저자는 디지털 사진측량 기법을 차용해 메모리 이미지의 텍스처와 구조적 패턴을 정량화한다. 여기서 사용된 특징은 주로 코너 검출, 라인 추출, 그리고 스케일‑인베리언트 변환으로, 메모리 영역 내 비정상적인 데이터 배열을 자동으로 식별한다.

두 번째로 도입된 Zipf‑Mandelbrot 법칙은 메모리 내 명령어 시퀀스와 문자열 빈도 분포를 모델링한다. 정상 실행 파일은 일반적으로 멱법칙적 분포를 보이지만, 악성코드가 삽입한 난수 혹은 암호화된 블록은 급격히 다른 스케일 파라미터를 나타낸다. 이를 통계적 검정으로 정량화함으로써, 기존 시그니처 기반 탐지와는 독립적인 ‘이상치 탐지’가 가능해진다.

마지막 단계는 메모리 페이지를 동적으로 디스어셈블링하고, 추출된 어셈블리 스트림을 제어 흐름 그래프(CFG)와 비교 분석한다. 여기서는 함수 경계 탐지, 호출 관계 매핑, 그리고 알려진 악성 패턴과의 유사도 계산을 수행한다. 특히, GPU의 대규모 병렬 연산을 활용해 수천 개 페이지를 동시에 디스어셈블하고, 엔트로피·텍스처·분포 분석 결과와 결합해 종합 점수를 산출한다.

CUDA 기반 구현은 메모리 페이지당 256 KB 블록을 스레드 블록으로 매핑하고, 엔트로피와 텍스처 계산을 각각 전용 커널로 분리함으로써 메모리 대역폭과 연산 자원을 최적화한다. 실험 결과, CPU 단일 코어 대비 평균 12배 이상의 속도 향상을 보였으며, 대용량(>8 GB) 메모리 덤프에서도 실시간에 가까운 분석이 가능함을 입증했다. 그러나 아직 제로데이 샘플이 제한적이며, GPU 메모리 용량과 전력 소비가 실무 적용에 제약을 줄 수 있다는 점이 남는다.