주소 코드 연관성을 즉시 무효화하는 새로운 방어 원리

초록

본 논문은 기존의 일회성 주소 공간 무작위화(ASLR)만으로는 JIT‑ROP·사이드채널 ROP 등 최신 코드 재사용 공격을 막기 어렵다는 점을 지적한다. 이를 해결하기 위해 “주소‑코드 연관성을 즉시 무효화”한다는 원리를 제시하고, 가상 페이지 테이블을 실시간으로 재배치하는 CHAMELEON 시스템을 구현한다. 코드 페이지를 주기적으로(최소 1 ms) 섞어 주소와 실제 명령어 사이의 고정 매핑을 사라지게 함으로써 공격자가 가젯을 수집하거나 실행하는 것을 방지한다. 실험 결과 100 ms, 10 ms, 1 ms 간격의 재무작위화에 대해 평균 11.1 %~12.9 %의 성능 오버헤드만 발생하며, 테스트한 모든 악성 활용 사례를 차단한다.

상세 분석

이 논문은 현대 코드 재사용 공격이 “한 번의 주소 무작위화”에 의존하는 기존 방어 메커니즘을 우회할 수 있음을 명확히 보여준다. JIT‑ROP와 사이드채널 기반 ROP는 실행 중인 프로세스의 메모리 레이아웃을 동적으로 탐지하고, 필요한 가젯을 실시간으로 수집·조합한다. 따라서 정적 ASLR은 공격자가 가젯을 찾는 순간에 이미 무효화된다. 저자들은 이러한 흐름을 근본적으로 차단하기 위해 “주소‑코드 연관성을 즉시 무효화”한다는 원리를 도입한다. 핵심 아이디어는 코드 페이지 자체를 가상 주소 공간에서 주기적으로 이동시켜, 동일한 물리 페이지가 언제든지 다른 가상 주소에 매핑되도록 하는 것이다. 이를 위해 가상 페이지 테이블을 동적으로 재구성하는 “virtual space page table remapping” 기법을 설계했으며, 기존 바이너리를 변환하는 “iterative instrumentation” 단계에서 재무작위화에 호환되는 형태로 변환한다.

구현상의 주요 도전은 (1) 재무작위화 시점에 실행 중인 스레드가 현재 실행 중인 명령어를 잃지 않도록 안전하게 페이지를 교체하는 메커니즘, (2) 함수와 기본 블록 수준에서의 재배치를 통해 페이지 교체 빈도를 최소화하면서도 가젯 수집을 방해하는 최적화, (3) 재무작위화 주기가 짧아질수록 발생하는 캐시 미스와 TLB 플러시 비용을 제한하는 것이다. 저자들은 “runtime virtual page shuffling”을 통해 페이지 교체를 원자적으로 수행하고, “function reordering” 및 “instruction rearranging” 최적화를 적용해 페이지 교체가 필요한 경우를 최소화한다. 특히 함수 재배치는 동일 함수 내에서 연속적인 코드가 같은 페이지에 머물도록 하여 페이지 교체 시 발생할 수 있는 페이지 폴트 수를 감소시킨다.

평가에서는 100여 개의 실제 바이너리를 대상으로 3가지 재무작위화 간격(100 ms, 10 ms, 1 ms)을 실험했다. 모든 테스트된 JIT‑ROP, 사이드채널 ROP, 그리고 변형된 ROP 변종을 성공적으로 차단했으며, 성능 오버헤드는 평균 11.1 %에서 12.9 % 사이로 보고된다. 이는 기존의 일회성 ASLR이 제공하는 보안 수준 대비 큰 향상을 의미한다. 다만, 1 ms 간격에서의 오버헤드가 12.9 %에 이르는 점은 고성능 실시간 시스템에서는 여전히 부담이 될 수 있다. 또한, 페이지 교체가 빈번해질수록 TLB 재구성 비용이 누적될 가능성이 있으며, 멀티코어 환경에서 동기화 비용이 추가될 수 있다는 점을 논문은 제한점으로 인정한다.

이 연구는 “주소‑코드 연관성을 실시간으로 파괴”한다는 새로운 방어 패러다임을 제시함으로써, 기존 정적 무작위화와 동적 코드 인젝션 방어를 보완한다. 향후 연구에서는 하드웨어 지원 TLB 무효화, 페이지 교체 시점의 예측적 스케줄링, 그리고 가상화 환경에서의 적용 가능성을 탐색할 여지가 있다.