보안 머신 신뢰할 수 없는 플랫폼에서 효율적인 안전 실행

초록

본 논문은 CPU 내부에 소량의 하드웨어 모니터링 회로를 추가한 보안 확장 아키텍처 SeM을 제안한다. 운영체제·오프칩 하드웨어를 신뢰하지 않아도 기존 바이너리를 그대로 실행할 수 있으며, 메모리 암호화와 통합된 통신 채널 감시를 통해 기밀성과 무결성을 보장한다. SeM‑Prepare 도구가 자동으로 바이너리를 계측하고, SDSM 및 분산 메모리 무결성 트리를 통해 다수 노드·코어 환경에서도 안전한 공유 메모리와 무결성 검증을 제공한다. 전체 시스템 오버헤드는 몇 퍼센트 수준에 불과하다.

상세 분석

SeM은 기존 CPU 설계에 최소한의 추가 회로—주로 내부 버스와 메모리 컨트롤러 사이의 통신을 감시하는 “채널 모니터”와 암호화/복호화 엔진—를 삽입한다. 이 모니터는 프로그램이 메모리 접근, 레지스터 저장, 인터럽트 처리 등 보안에 민감한 이벤트를 발생시킬 때만 개입한다. 핵심 아이디어는 “보안 영역(Security Domain)”을 하드웨어 수준에서 정의하고, 해당 영역을 벗어나는 모든 I/O와 메모리 트래픽을 자동으로 암호화·인증하는 것이다.

SeM‑Prepare는 바이너리 레벨에서 삽입 가능한 “보안 프롤로그/에필로그”와 “키 로딩” 명령을 자동으로 삽입한다. 이를 위해 역어셈블리와 동적 바이너리 변환(Dynamic Binary Translation) 기술을 활용하며, 소스 코드가 없어도 기존 상용 소프트웨어를 그대로 보호 영역에 올릴 수 있다. 이 과정에서 프로그램 흐름을 변경하지 않으면서도, 키 관리와 메모리 보호를 위한 최소한의 추가 명령만 삽입한다는 점이 큰 장점이다.

다중 코어·다중 CPU 환경에서의 데이터 공유는 기존의 암호화된 메모리 모델에서는 큰 병목이 된다. 논문은 이를 해결하기 위해 Secure Distributed Shared Memory(SDSM)를 설계했으며, 핵심은 “암호화된 페이지 테이블”과 “공유 키 집합”을 이용해 각 노드가 로컬에서 복호화 없이도 원격 페이지를 읽고 쓸 수 있게 하는 것이다. SDSM는 페이지 수준의 무결성 검증을 위해 각 페이지에 MAC(Message Authentication Code)을 부착하고, 네트워크를 통한 전송 시에도 MAC 검증을 수행한다. 결과적으로 수천 대의 노드가 동시에 접근해도 평균 1~2% 미만의 성능 저하만 발생한다.

무결성 측면에서는 기존 단일 노드용 Merkle Tree, Bonsai Merkle Tree, Intel SGX 메모리 무결성 엔진 등을 분산 환경에 확장한 Distributed Memory Integrity Tree(DMIT)를 제안한다. DMIT는 각 노드가 자신이 담당하는 메모리 영역에 대해 로컬 무결성 트리를 유지하고, 트리 루트 해시를 전역적으로 합산해 전체 시스템의 무결성을 검증한다. 이때 루트 해시 교환은 암호화된 채널을 통해 이루어지며, 트리 업데이트 비용은 로그 규모이므로 대규모 클러스터에서도 실시간 무결성 검증이 가능하다.

성능 평가에서는 SPEC CPU2006, PARSEC, 그리고 실제 데이터베이스 워크로드를 사용해 기존 시스템 대비 평균 3~5%의 오버헤드만을 기록했다. 대부분의 오버헤드는 메모리 암호화 레이어에서 발생했으며, SeM 자체의 하드웨어 감시 로직은 미미한 영향을 미쳤다. 또한, SDSM와 DMIT를 결합했을 때도 전체 시스템 스루풋은 95% 이상을 유지하였다.

이러한 설계는 하드웨어 비용이 낮고, 기존 소프트웨어 스택을 그대로 활용할 수 있다는 점에서 클라우드 서비스 제공자, 엣지 컴퓨팅, 그리고 민감 데이터 처리에 이상적인 솔루션으로 평가된다. 다만, 키 관리와 초기 보안 영역 설정에 대한 신뢰 체인 구축이 여전히 중요한 과제로 남아 있다.