안드로이드 바이트코드 비공개성 인증

초록

본 논문은 Dalvik VM용 DEX 바이트코드에 대해 비공개성(non‑interference) 보장을 위한 형식적 타입 시스템을 제시하고, Java 바이트코드에서 DEX로 변환하는 dx 도구의 번역 과정이 이 타입 시스템을 보존함을 증명한다. 이를 통해 기존 Java 바이트코드 검증기들을 Android 환경에 재활용할 수 있는 기반을 마련한다.

상세 분석

이 연구는 두 단계의 형식적 접근을 결합한다. 첫 번째 단계에서는 Dalvik VM의 동작을 정확히 모델링한 운영 의미론을 정의한다. Dalvik은 레지스터 기반이므로, JVM의 스택 기반 명령을 레지스터에 매핑하는 과정에서 발생할 수 있는 정보 흐름을 정밀히 기술한다. 저자들은 상태를 ⟨pc, 레지스터 파일, 힙⟩ 형태의 튜플로 표현하고, 예외 처리 메커니즘까지 포함한 전이 규칙을 제시한다. 두 번째 단계에서는 비공개성을 정량화하기 위한 보안 라벨(L)과 라벨 환경(Security Environment)을 도입한 타입 시스템을 설계한다. 각 레지스터와 힙 객체에 라벨을 부여하고, 제어 의존 영역(Control Dependence Region, CDR)을 안전하게 정의함으로써 직접 흐름(스택/레지스터 전파)과 간접 흐름(조건 분기에 의한 흐름) 모두를 추적한다. 타입 규칙은 명령별로 라벨 전파와 라벨 상승을 명시하며, 예외 발생 시 라벨이 적절히 전파되는지를 검증한다. 핵심 정리로 “타입 가능한 DEX 프로그램은 정의된 보안 정책에 대해 비공개성을 만족한다”는 사운드니스 정리를 증명한다.

그 다음 저자들은 Java 바이트코드 → DEX 바이트코드 변환(dx 도구)의 추상 모델을 만든다. 변환 과정은 기본적으로 JVM 스택을 Dalvik 레지스터에 매핑하고, 기본 블록 단위로 명령을 재배열한다. 중요한 점은 변환이 비최적화적(non‑optimizing)이라는 가정 하에, 원본 JVM 프로그램이 Barthe 등(2004)의 비공개성 타입 시스템에 의해 타입 가능하면, 변환된 DEX 프로그램도 위에서 정의한 DEX 타입 시스템에 의해 타입 가능함을 보이는 것이다. 이를 위해 저자들은 원본 JVM의 CDR과 보안 환경을 변환 후 DEX에 어떻게 대응시킬지 상세히 정의하고, 블록 매핑 관계를 이용해 라벨 전파가 보존됨을 증명한다. 특히 예외 처리와 같은 복잡한 흐름도 레지스터 매핑과 핸들러 재구성을 통해 정확히 유지한다는 점을 강조한다.

이 논문의 주요 기여는 (1) Dalvik VM을 위한 형식적 운영 의미론과 비공개성 타입 시스템을 최초로 제공한 점, (2) 실제 Android SDK의 dx 도구가 수행하는 변환 과정을 형식적으로 모델링하고, (3) 변환이 비공개성 타입 가능성을 보존함을 증명함으로써 기존 Java 바이트코드 검증 인프라를 Android에 직접 적용할 수 있는 길을 연 점이다. 또한 예외 처리와 같은 실용적인 언어 기능을 포함함으로써, 이전 연구들(예: Cassandra 프로젝트)의 제한적인 서브셋을 넘어선 실용성을 확보한다.