이기종 신뢰 실행 환경을 활용한 프라이버시 보호 컴퓨팅

초록

본 논문은 GPU·TPU와 같은 고성능 가속기를 포함한 이기종 시스템에서 데이터와 연산을 안전하게 보호할 수 있는 HETEE(Heterogeneous TEE)를 제안한다. 보안 컨트롤러를 독립적인 시스템으로 두어 PCIe 스위치를 동적으로 제어함으로써 가속기의 접근 권한을 보안·비보안 영역 사이에서 전환하고, 암호화·인증·원격 증명 기능을 제공한다. 프로토타입 구현과 대규모 신경망 학습·추론 실험 결과, 평균 12.34%(추론)·9.87%(학습)의 오버헤드만을 보이며 실용성을 입증한다.

상세 분석

HETEE는 기존 TEE가 CPU 중심으로 설계돼 고성능 가속기(GPU, TPU 등)를 보호하지 못한다는 근본적인 한계를 해결한다는 점에서 의미가 크다. 핵심 아이디어는 “보안 컨트롤러”라는 단일 신뢰 트러스트 루트를 두고, 이 컨트롤러가 PCIe 스위치를 프로그래밍하여 가속기의 물리적 연결을 보안 세계와 비보안 세계 사이에서 동적으로 전환한다는 것이다. 이를 통해 가속기가 필요 없는 일반 작업에서는 호스트 OS가 직접 가속기에 접근하도록 허용해 성능 저하를 최소화하고, 보안 연산이 필요할 때만 컨트롤러가 가속기를 차단하고 암호화된 데이터와 코드만을 전달한다.

보안 컨트롤러는 자체 커스텀 OS와 가속기 런타임을 포함하며, 암호화·인증·원격 증명 모듈을 탑재한다. 호스트 서버와 다른 컴퓨팅 노드는 메모리 내 태스크 큐(in‑memory task queue)를 통해 암호화·서명된 작업을 전달하고, 컨트롤러는 이를 검증 후 가속기에 전달한다. 이 설계는 기존 상용 CPU·가속기의 하드웨어 변경 없이 구현 가능하다는 점에서 배포 비용을 크게 낮춘다.

보안 모델은 컨트롤러를 제외한 모든 구성 요소를 ‘악의적인’ 공격자로 가정한다. 즉, OS, 하이퍼바이저, 심지어 가속기 자체도 변조될 수 있다고 본다. 컨트롤러는 물리적 경계(PCIe 스위치)와 논리적 경계(암호화·인증)를 동시에 관리함으로써 데이터 유출·코드 변조 위험을 최소화한다. 다만, 컨트롤러가 단일 장애점(single point of failure)으로 작동하므로, 물리적 공격이나 사이드채널 공격에 대비한 하드웨어 기반 방어가 추가로 필요할 수 있다.

성능 평가에서는 대규모 신경망(ResNet‑152, BERT 등)의 추론·학습 워크로드를 대상으로, 보안 모드와 비보안 모드 간 오버헤드를 측정했다. 평균 12.34%(추론)·9.87%(학습)라는 오버헤드는 기존 TEE 기반 GPU 보호 솔루션이 30% 이상 초과하는 경우와 비교해 크게 개선된 수치이며, 특히 PCIe 스위치 전환 비용이 최소화된 것이 주요 원인이다. 또한, 메모리 복제·암호화 비용을 줄이기 위해 파이프라인 방식의 데이터 스트리밍을 적용했으며, 이는 대용량 데이터셋에서도 높은 처리량을 유지하게 한다.

한계점으로는 현재 구현이 특정 PCIe 스위치와 가속기 모델에 종속적이며, 다양한 벤더의 하드웨어와의 호환성을 검증해야 한다는 점이 있다. 또한, 컨트롤러의 부하가 증가할 경우 병목 현상이 발생할 수 있어, 멀티 컨트롤러 아키텍처나 하이브리드 스위치 설계가 향후 연구 과제로 남는다.

종합적으로 HETEE는 이기종 고성능 컴퓨팅 환경에서 프라이버시 보호를 실현하기 위한 실용적인 설계 패러다임을 제시하며, 보안·성능 트레이드오프를 크게 완화한다는 점에서 학계·산업계 모두에게 큰 영향을 미칠 것으로 기대된다.