스프로브 TrustZone 기반 커널 코드 무결성 강화

초록

스프로브는 ARM TrustZone 환경을 이용해 커널 수준에서 코드 무결성을 검증하는 새로운 프리미티브이다. 운영체제 내부의 특정 명령어에 트랩을 삽입해 루트킷이 해당 명령을 회피하거나 삭제하지 못하도록 다섯 가지 불변성을 정의하고, Linux 2.6.38 커널에 12개의 스프로브만으로 모든 불변성을 만족시킨다. 이를 통해 제한된 TrustZone 하드웨어만으로도 스마트폰 커널을 신뢰할 수 있는 코드만 실행하도록 강제할 수 있다.

상세 분석

스프로브(SPROBE)는 기존의 VM 인트로스펙션이 스마트폰에 적용되기 어려운 문제를 해결하기 위해 고안된 메커니즘이다. ARM TrustZone은 보안 월드와 일반 월드로 CPU를 분리하지만, 메모리 관리와 페이지 테이블 등 핵심 제어는 여전히 일반 월드(운영체제)에게 위임한다. 따라서 루트킷은 페이지 테이블을 조작해 인트로스펙션 코드가 접근하려는 주소를 가리키지 않게 하거나, 특정 명령어를 패치해 트랩을 회피할 수 있다. 스프로브는 이러한 회피 경로를 차단하기 위해 “명령어 수준 트랩 삽입”이라는 접근법을 사용한다. 구체적으로, 보안 월드가 지정한 커널 명령어 주소에 특수한 메타데이터를 삽입하고, 해당 명령이 실행될 때마다 TrustZone이 강제적으로 전환되어 보안 월드의 핸들러가 호출된다. 이 트랩은 하드웨어적으로 보호되며, 일반 월드에서는 이를 제거하거나 위조할 수 없도록 설계되었다.

핵심은 다섯 가지 불변성(invariants)이다. 첫째, 스프로브가 삽입된 주소는 변경 불가능해야 한다(주소 무결성). 둘째, 스프로브가 삽입된 명령어 자체는 수정될 수 없어야 한다(코드 무결성). 셋째, 스프로브가 삽입된 페이지는 실행 권한만을 가지고 쓰기 권한은 차단해야 한다(페이지 보호). 넷째, 루트킷이 새로운 코드를 로드하거나 기존 코드를 재배치하려 할 때 스프로브가 삽입된 영역을 우회할 수 없어야 한다(로드 무결성). 마지막으로, 보안 월드가 관리하는 메타데이터와 트랩 핸들러는 일반 월드에서 접근하거나 변조될 수 없어야 한다(핸들러 보호).

스프로브 구현은 ARM Fast Models 에뮬레이터 위에서 프로토타입을 구축했으며, Linux 2.6.38 커널에 12개의 스프로브만 배치해도 위 다섯 가지 불변성을 모두 만족한다는 실험 결과를 제시한다. 12개의 스프로브는 커널 초기화, 시스템 호출 진입점, 인터럽트 핸들러, 페이지 테이블 관리 함수 등 핵심 경로에 배치되었다. 이 최소한의 삽입으로 루트킷이 커널 코드를 임의로 수정하거나 은닉된 백도어를 삽입하는 것을 방지한다. 또한, 스프로브는 기존 커널 구조에 큰 영향을 주지 않으며, 성능 오버헤드도 실험 환경에서 2~3% 수준에 머물렀다.

스프로브의 한계는 TrustZone 하드웨어가 제공하는 메모리 격리 수준에 의존한다는 점이다. 만약 향후 ARM 아키텍처가 더 강력한 메모리 보호 기능을 제공한다면 스프로베의 설계는 더욱 간소화될 수 있다. 반면, 현재의 TrustZone 구현에서는 보안 월드와 일반 월드 간의 통신 인터페이스가 제한적이므로, 스프로베를 실제 스마트폰에 적용하려면 부트 로더와 펌웨어 수준에서 추가적인 신뢰 체인 구축이 필요하다.

요약하면, 스프로베는 제한된 하드웨어 지원만으로도 커널 코드 무결성을 강제할 수 있는 실용적인 방법을 제시한다. 이는 스마트폰과 같은 제한된 환경에서 루트킷 방어를 구현하려는 연구자와 엔지니어에게 중요한 설계 패턴을 제공한다.