SNPeek: 기밀 가상 머신의 프라이버시 보호를 위한 사이드 채널 분석 도구

초록

본 논문은 AMD SEV-SNP 기반 기밀 가상 머신(CVM)에서 사이드 채널 정보 유출을 체계적으로 측정하고 분석하는 오픈소스 도구인 SNPeek를 소개한다. SNPeek는 페이지 테이블, 캐시, 암호문 등 다양한 사이드 채널 트레이싱 기능과 통계/머신러닝 기반 분석 파이프라인을 제공한다. 이를 프라이버시 정보 검색, 프라이버시 헤비 히터, Wasm 사용자 정의 함수 등 세 가지 실제 CVM 워크로드에 적용하여 기존에 알려지지 않은 정보 유출 경로를 발견하고, 이를 완화하는 실용적인 방안을 제시한다.

상세 분석

본 논문은 하드웨어 신뢰 실행 환경(TEE) 기반 기밀 가상 머신(CVM)이 제공하는 보안 모델이 사이드 채널 공격을 위협 범위에서 제외함에 따라, 애플리케이션 개발자에게 완화 책임이 전가되는 현실적인 문제를 지적한다. 기존 완화 방법은 일반적이지 않거나 실용적이지 못하며, 개발자들이 실제 배포 환경에서 정보 유출을 체계적으로 측정하고 비교할 방법이 부족했다.

이를 해결하기 위해 제안된 SNPeek는 두 가지 주요 구성 요소로 이루어진다. 첫째는 트레이스 추출 단계로, AMD SEV-SNP 프로덕션 하드웨어에서 페이지 테이블 조작, 캐시(Prime+Probe), 성능 카운터(HPC), 암호문 가시성 등 다양한 저잡음 사이드 채널 원시 데이터를 수집한다. 특히 논문은 AMD CPU의 비포함적 마지막 수준 캐시(LLC)를 대상으로 한 새로운 ‘Multi-Prime+Probe’ 공격 기법을 소개하며, 모델 특정 레지스터(MSR)를 활용해 L3 캐시를 제한함으로써 측정 노이즈를 크게 줄이고 실용성을 향상시켰다. 또한 관련 없는 애플리케이션 부분을 필터링하여 트레이스 수집 효율을 높였다.

둘째는 트레이스 분석 단계로, 수집된 데이터를 사전 정의된 통계 및 머신러닝 모델(예: SVM, 뉴럴 네트워크)을 통해 자동으로 분석한다. 이를 통해 공격자의 역량(예: 사전 지식 수준)에 따른 다양한 시나리오에서 정보 유출을 정량화하고, 취약점의 근원을 쉽게 찾아낼 수 있다.

논문의 핵심 통찰은 다음과 같다: 1) CVM에서의 프라이버시 위협은 암호학적 키 추출과 달리 모호하고 정량화하기 어렵다. SNPeek는 차등 프라이버시에서 영감을 받은 ‘공격자 이점(Adversary’s Advantage)‘이라는 정량적 측정 지표를 제안하여, 공격 전후 공격자의 성공 확률 변화로 정보 유출량을 측정한다. 2) 서비스 제공자(공격자)가 시빌(Sybil) 입력을 주입할 수 있다는 점을 고려한 위협 모델을 설정한다. 이는 자연 발생 입력보다 더 심각한 유출을 유발할 수 있다. 3) ‘상수 시간 실행’만으로는 충분하지 않을 수 있다. 실험 결과, ORAM(무지성 메모리)처럼 이론적으로 안전한 기법도 AMD SEV-SNP의 암호문 사이드 채널을 통해 유출될 수 있음이 확인되었다. 4) SNPeek는 단순히 취약점 발견을 넘어, 무지성 메모리나 차등 프라이버시 노이즈 주입과 같은 저부가 완화 방안의 설계와 평가를 안내하는 실용적인 도구 역할을 한다.