페이지 결함 공격을 막는 새로운 소프트웨어 방어와 하드웨어 보조 방안

초록

본 논문은 인텔 SGX와 같은 엔클레이브 환경에서 페이지 결함(side‑channel) 공격이 암호키를 크게 유출할 수 있음을 실증하고, 프로그램의 메모리 접근을 결정론적으로 고정하는 “deterministic multiplexing” 방식을 컴파일러 수준에서 구현한다. 기본 구현은 최대 4000배의 성능 저하를 보이지만, 개발자 주도 최적화를 적용하면 평균 29.22% 이하, 최악 6.77% 수준으로 감소한다. 또한 하드웨어 지원을 통한 추가 방어 방안을 제시한다.

상세 분석

이 논문은 SGX와 같은 신뢰 실행 환경에서 운영체제가 페이지 테이블을 관리한다는 사실을 이용해, 페이지 폴트 정보를 관찰함으로써 비밀 데이터의 메모리 접근 패턴을 추출하는 “pigeonhole attack”을 정의한다. 공격자는 의도적으로 물리 페이지 수를 제한해 프로그램이 자주 페이지 폴트를 일으키게 만들고, 각 폴트가 발생한 가상 페이지 주소를 기록한다. 암호 알고리즘 구현에서는 비밀 키 바이트가 직접 테이블 인덱스로 사용되거나, 비밀 스칼라 값에 따라 코드 경로가 달라지는 경우가 많아, 페이지 레벨에서의 접근 차이가 비밀 비트를 그대로 드러낸다. 예를 들어 Libgcrypt의 AES 구현에서는 S‑Box 룩업 테이블이 페이지 경계를 가로질러 배치돼, 키 바이트가 0x1C 이하인지 초과인지에 따라 서로 다른 페이지가 접근된다. 이로 인해 한 라운드만으로도 25비트 이상의 키 정보를 획득할 수 있다. EdDSA 구현에서도 비밀 스칼라의 각 비트마다 다른 서브루틴 페이지가 호출되므로, 페이지 폴트 시퀀스로 비트값을 완전 복원한다.

방어 메커니즘은 “PF‑obliviousness”라는 새로운 보안 속성을 제시한다. 이는 비밀 입력값에 관계없이 프로그램이 동일한 페이지 폴트 패턴을 보이게 하는 것을 목표로 한다. 구체적인 구현은 두 단계로 이루어진다. 첫째, 컴파일러가 모든 데이터와 코드 페이지에 대해 사전 접근(pre‑fetch) 및 순차적 접근을 삽입해, 실제 실행 중에 발생할 수 있는 페이지 폴트를 미리 “마스크”한다. 둘째, 조건부 분기와 데이터‑종속성을 제거하거나, 동일한 페이지 집합을 반복적으로 접근하도록 변환한다. 이를 “deterministic multiplexing”이라 부른다.

초기 구현은 모든 가능한 페이지를 순차적으로 읽고 쓰는 방식이라, 평균 705배, 최악 4000배의 실행 시간 오버헤드를 초래한다. 저자들은 암호 루틴의 구조적 특성을 활용해 세 가지 최적화 기법을 도입한다. (1) 페이지‑단위 루프 언롤링을 통해 불필요한 중복 접근을 제거하고, (2) 비밀‑종속 코드 경로를 동일한 페이지에 병합해 페이지 전환을 최소화하며, (3) 컴파일 타임에 정적 분석을 통해 불필요한 멀티플렉싱을 생략한다. 이러한 최적화 후에는 평균 오버헤드가 29.22% 이하로 감소하고, 최악 경우에도 6.77% 수준으로 제한된다.

하드웨어 지원 방안으로는 페이지 폴트 발생 시 오프셋 정보를 마스킹하고, 페이지 접근 기록을 하드웨어 수준에서 무작위화하거나 일정 주기로 플러시하는 메커니즘을 제안한다. 이러한 변경이 적용되면 소프트웨어만 사용할 때보다 6배 정도 성능 향상이 가능하다.

전체적으로 이 논문은 페이지 폴트 채널이 기존 캐시·타이밍 기반 측면 채널보다 훨씬 높은 정보 용량을 제공한다는 점을 강조하고, 소프트웨어‑하드웨어 공동 방어가 실용적인 해결책임을 설득력 있게 입증한다.