딥러닝 모델 성능 변동 분석: 현대 모바일·엣지 디바이스에서의 EmBench 연구

초록

본 논문은 최신 이미지 분류 모델 20여 종을 RTX 2080 Ti GPU, Xeon CPU, Jetson Xavier, Qualcomm Kryo 385, Intel NCS 2 등 5가지 상이한 상용 디바이스에 배치하고, 배치 크기와 FLOPs를 기준으로 추론 지연시간·처리량을 정량적으로 측정한다. 모델별 연산량과 실제 실행 시간 사이에 큰 편차가 존재함을 밝히고, 각 플랫폼에서 병목이 되는 연산 유형과 최적 배치 규모를 제시한다. 이를 통해 하드웨어 친화적인 DNN 설계와 가속기 설계 가이드라인을 제공한다.

상세 분석

EmBench은 2019년 발표된 연구로, 딥러닝 모델의 하드웨어 의존성을 체계적으로 조사한다. 먼저 Table 1에 정리된 20여 개의 대표적인 CNN(예: AlexNet, VGG, ResNet, MobileNetV2, EfficientNet 등)의 FLOPs, 파라미터 수, Top‑1/Top‑5 정확도를 수집하고, 이를 기반으로 모델 복잡도와 정확도 간의 trade‑off를 시각화한다. 실험은 NVIDIA RTX 2080 Ti GPU, NVIDIA Jetson Xavier GPU, Intel Xeon 4116 CPU, Qualcomm Snapdragon 845(Kryo 385) CPU, Intel Neural Compute Stick 2(NCS 2) 등 5개의 이기종 플랫폼에서 수행된다. 각 플랫폼은 ONNX → PyTorch → CUDA/cuDNN, 또는 ONNX → OpenVINO, TensorFlow Lite(Caffe2+NNPACK) 등 적절한 런타임 스택으로 변환되어 동일한 사전 학습 가중치를 사용한다.

배치 크기와 FLOPs 간의 관계를 RTX 2080 Ti에서 조사한 결과(Figure 1) 동일 FLOPs라도 실제 실행 시간은 10배 이상 차이날 수 있음을 확인했다. 이는 GPU 내부 스케줄링, 메모리 대역폭, 연산 단위(예: Tensor Core) 활용 정도가 모델 구조에 따라 크게 달라지기 때문이다. 배치 크기 확대에 따른 처리량 변화(Figure 2)를 보면, 고성능 GPU는 128~256 배치에서 최적 효율을 달성하고, 이후 메모리 포화로 인해 효율이 감소한다. 반면 Xeon CPU는 32 배치 이후 거의 포화되며, 모바일 Kryo 385는 메모리 대역폭과 코어 수 제한으로 32 이하 배치에서만 의미 있는 스루풋 향상이 관찰된다.

연산별 병목 분석에서는 Conv2D와 Depthwise Conv가 대부분의 플랫폼에서 가장 큰 비중을 차지하지만, NCS 2에서는 메모리 전송 비용이, Jetson Xavier에서는 FP16 연산 지원이 제한적이라서 GEMM 연산이 병목이 된다. 또한, 모델별로 레이어 구성 차이(예: Residual Block vs. Inception Module)가 동일 FLOPs라 하더라도 스케줄링 효율에 차이를 만든다.

이러한 실험 결과를 바탕으로 저자들은 (1) 모델 설계 시 목표 디바이스의 연산 특성(예: Tensor Core 지원, 메모리 대역폭)을 고려해야 함, (2) 배치 크기를 하드웨어 메모리 한계에 맞춰 최적화해야 함, (3) 연산 집약적인 레이어를 하드웨어 친화적인 구현(예: 그룹 컨볼루션 대신 표준 Conv)으로 대체하거나, 가속기 설계 시 Conv와 GEMM에 특화된 파이프라인을 제공해야 함을 제안한다.