JTAG 기반 안드로이드 커널 루트킷 신뢰 검출 시스템 JoKER

초록

본 논문은 안드로이드 기기의 JTAG 인터페이스를 활용해 커널 메모리를 외부에서 직접 추출·분석함으로써, 기존 소프트웨어 기반 탐지기가 놓치는 저수준 루트킷을 신뢰성 있게 식별하는 시스템 JoKER를 제안한다. 메모리 덤프와 구조 재구성을 통해 루트킷이 남긴 흔적을 검증하고, 실험을 통해 높은 탐지율을 입증하였다.

상세 분석

JoKER는 모바일 디바이스 보안에서 가장 어려운 과제 중 하나인 ‘신뢰할 수 있는 커널 루트킷 탐지’를 하드웨어 수준에서 해결하고자 한다. 기존 안티바이러스나 런타임 기반 포렌식은 동일 디바이스 내에서 실행되기 때문에 커널이나 부트로더 수준의 취약점에 의해 조작될 위험이 있다. 이에 저자는 JTAG(Joint Test Action Group) 인터페이스를 이용해 물리적으로 디바이스와 연결된 외부 장치가 직접 메모리 버스에 접근하도록 설계하였다. JTAG는 원래 회로 테스트와 디버깅을 위한 표준이지만, 주소 버스와 데이터 버스를 제어함으로써 운영체제의 실행 상태와 무관하게 RAM 내용을 읽어낼 수 있다.

시스템 아키텍처는 크게 네 단계로 나뉜다. 첫 번째는 ‘JTAG 연결 및 초기화’ 단계로, 디바이스의 JTAG 포트를 식별하고 TAP(Test Access Port)를 활성화한다. 두 번째는 ‘메모리 영역 선택’ 단계이며, 안드로이드 커널이 차지하는 물리 주소 영역(예: .text, .data, .bss, 시스템 콜 테이블 등)을 사전 정의된 매핑 파일에 따라 선택한다. 세 번째는 ‘덤프 수집 및 재구성’ 단계로, 선택된 영역을 순차적으로 읽어와 바이너리 덤프를 생성하고, ELF/ELF64 포맷으로 재구성한다. 네 번째는 ‘루트킷 탐지 엔진’으로, 재구성된 이미지에 대해 정적 분석(시그니처 매칭, 구조 무결성 검사)과 동적 분석(시스템 콜 테이블 변조 여부, 함수 포인터 훼손 여부)을 수행한다.

핵심 탐지 기법은 두 가지이다. 첫째, 커널 코드 섹션(.text)의 해시값을 정상 커널 이미지와 비교해 변조 여부를 판단한다. 둘째, 시스템 콜 테이블과 함수 포인터 배열을 스캔해 비정상적인 주소가 삽입된 경우를 탐지한다. 루트킷이 흔히 사용하는 ‘hooking’ 기법은 이러한 포인터 변조를 통해 구현되므로, JTAG 기반 메모리 포렌식은 해당 변조를 외부에서 직접 확인할 수 있다.

실험에서는 대표적인 안드로이드 루트킷 4종(예: Suterusu, Phalanx, Frida‑based hooking, custom kernel module)을 실제 디바이스에 설치하고, JoKER를 적용하였다. 모든 루트킷에 대해 시스템 콜 테이블 변조와 코드 섹션 변조를 성공적으로 탐지했으며, 오탐률은 0%에 가까웠다. 또한, JTAG 접근에 필요한 시간은 평균 12초 수준으로, 실시간 탐지는 아니지만 현장 포렌식 및 사후 분석에 충분히 빠른 편이다.

하지만 JTAG는 물리적 접근이 전제되므로 원격 탐지는 불가능하고, 일부 최신 디바이스는 JTAG 포트를 비활성화하거나 보안 부트 체인에 의해 접근을 차단한다. 또한, 메모리 덤프 과정에서 전원 관리 모드에 따라 일부 영역이 스와핑될 위험이 있어, 정확한 메모리 매핑과 전원 상태 제어가 필수적이다. 저자는 이러한 한계를 보완하기 위해 JTAG 외에 SWD(Serial Wire Debug)나 PCIe 기반 디버깅 인터페이스와의 연계, 그리고 자동화된 메모리 매핑 업데이트 기법을 제안한다.

전반적으로 JoKER는 하드웨어 기반 신뢰성을 확보함으로써, 기존 소프트웨어 중심 탐지기가 놓치는 저수준 루트킷을 효과적으로 드러낼 수 있음을 입증한다. 이는 모바일 포렌식, 기업 보안, 그리고 국가 수준의 사이버 방어 시나리오에서 중요한 전술적·전략적 가치를 제공한다.