GPU 활용도 추정용 타이밍·메모리 기반 텔레메트리

초록

본 논문은 신뢰할 수 없는 호스트와 GPU 환경에서도 GPU 사용량을 추정할 수 있는 네 가지 측정 원시(primitives)를 제안한다. 작업 증명(PoW), 순차 지연 함수(VDF), 텐서코어 기반 GEMM, 그리고 VRAM 거주 테스트를 활용해 실행 지연과 메모리 접근 특성을 관찰하고, 이를 통해 실시간 이용 패턴을 파악한다. 실험 결과는 다양한 컨텐션 상황과 가상화 환경에서도 의미 있는 타이밍 변화를 포착함을 보여준다.

상세 분석

이 논문은 GPU 텔레메트리를 기존 하드웨어 기반 신뢰 경로(예: TPM, TEE, NVIDIA Confidential Computing) 대신, 순수히 아키텍처 특성에 의존하는 소프트웨어 측정으로 대체하려는 시도를 체계적으로 전개한다. 네 가지 원시(primitives)는 각각 GPU의 병렬 처리 능력, 순차 연산 한계, 텐서코어 집약도, 그리고 고대역폭 메모리(HBM) 접근 지연을 정량화한다.

첫 번째 원시인 Proof‑of‑Work(PoW)는 메모리‑하드 해시(Argon2 등)를 이용해 대규모 병렬 탐색을 강제한다. 난이도 조절을 통해 목표 시간 내에 해결되지 않으면 GPU가 충분히 바쁘지 않다는 신호를 얻는다. 이 방식은 전력·열 부하가 크지만, GPU 코어와 HBM 사용량을 직접적으로 드러내는 장점이 있다.

두 번째 원시인 VDF는 순차적 연산을 요구하는 메모리‑하드 함수로, GPU가 단일 스레드 흐름을 일정 시간 동안 유지해야만 해결 가능하도록 설계된다. VDF는 병렬성을 억제하므로, 다른 워크로드와의 컨텐션이 있을 때 해결 시간의 증가가 뚜렷하게 관측된다. 이는 특히 멀티테넌시 환경에서 GPU가 실제로 순차 연산을 수행하고 있는지를 판단하는 데 유용하다.

세 번째 원시인 GEMM 기반 텐서코어 측정은 대규모 행렬 곱셈을 실행해 텐서코어 활용도를 측정한다. 최신 Hopper·Ampere GPU에서는 텐서코어가 FP8·FP16·BF16 등 저정밀 연산을 고속으로 처리하므로, GEMM 실행 시간과 전력 소비 패턴을 통해 텐서코어 포화 정도를 추정한다. 이 방법은 PoW에 비해 전력 효율이 높으며, 실제 AI 워크로드와 유사한 연산 특성을 갖는다.

네 번째 원시인 VRAM‑Residency 테스트는 메모리 접근 지연을 이용해 데이터가 GPU 내부 HBM에 상주하는지, 아니면 PCIe·NVLink를 통해 외부 메모리에서 스트리밍되는지를 구분한다. 해시 연산을 메모리‑하드하게 설계하고, 접근 패턴에 따라 대역폭 제한이 발생하도록 함으로써, 메모리 로컬리티 변화가 타이밍에 미치는 영향을 정량화한다.

논문은 이 네 가지 원시를 조합해 “챌린지–응답” 프로토콜을 구성하고, 다양한 실험 시나리오(단일·다중 워크로드, MIG·MPS 가상화, 전력 제한 등)에서 측정값의 민감도와 오버헤드를 평가한다. 주요 결과는 다음과 같다.

1. 컨텐션 감지: 동일 GPU에 LLM 추론 워크로드가 동시에 실행될 때, PoW와 VDF의 평균 해결 시간이 30 %~70 % 증가한다. 이는 GPU가 이미 높은 부하 상태임을 강력히 시사한다.
2. 가상화 영향: MIG 파티션을 사용해도 원시별 타이밍 차이가 유지되며, 특히 VRAM‑Residency 테스트는 파티션 경계에 따른 메모리 대역폭 제한을 명확히 드러낸다.
3. 전력·열 오버헤드: PoW는 가장 높은 전력 소모(peak ≈ 350 W)를 보이지만, GEMM은 20 % 수준으로 낮아 실시간 모니터링에 적합하다. VDF와 VRAM 테스트는 중간 수준이다.
4. 통계적 신뢰성: 10 000회 반복 실험에서 95 % 신뢰구간 내에 해결 시간 분포가 일관되었으며, 이상치 탐지는 실제 GPU 재부팅·펌웨어 변조 시에도 검출 가능했다.

이러한 결과는 “신뢰할 수 없는 환경에서도 GPU 활용도를 추정할 수 있다”는 논문의 핵심 가설을 실증한다. 다만 몇 가지 한계도 존재한다. 첫째, 측정 자체가 GPU 자원을 차지하므로, 장시간 지속적인 모니터링은 서비스 품질에 영향을 미칠 수 있다. 둘째, 공격자는 측정 코드를 회피하거나 인위적으로 지연을 삽입해 위조할 가능성이 있다. 셋째, 현재 구현은 NVIDIA Hopper/Ampere 기반 GPU에 최적화돼 있어, AMD Instinct·Intel Xe 등 다른 아키텍처에 대한 일반화는 추가 연구가 필요하다.

향후 연구 방향으로는 (1) 측정 오버헤드를 최소화하는 경량화된 PoW·VDF 설계, (2) 머신러닝 기반 타이밍 패턴 분석을 통한 비정상 행동 자동 탐지, (3) 다중 GPU 클러스터 전역에서의 협업 텔레메트리 프로토콜, (4) 표준화된 API와 정책 프레임워크를 정의해 클라우드 제공자가 텔레메트리 데이터를 신뢰할 수 있게 하는 방안 등을 제시한다.

전반적으로 이 논문은 하드웨어 신뢰 경로가 부재한 상황에서도 GPU 사용량을 “관측 가능”하게 만드는 실용적인 방법론을 제공하며, AI 거버넌스·규제·공정성 확보에 중요한 기술적 토대를 마련한다.