Benanza 자동 마이크로벤치마크 생성으로 GPU 딥러닝 모델 하한 지연시간 추정 및 최적화 안내

본 논문은 딥러닝 모델이 실시간·지연 민감한 서비스에 널리 사용됨에 따라, 모델 실행 지연을 최소화하기 위한 체계적인 프로파일링·최적화 방법론이 필요함을 제시한다. 기존 프로파일러(nvprof, Nsight, VTune 등)는 실제 실행 지연을 측정할 수는 있지만, 이상적인 “하한” 지연을 제시하거나 최적화 가능성을 정량화하지 못한다. 이러한 격차를 메우기 위해 저자들은 Benanza라는 자동 마이크로벤치마크 생성·분석 시스템을 설계·구현하였다. Benanza는 네 개의 핵심 모듈로 구성된다. 첫 번째 모듈인 모델 프로세서는 ONNX 형식의 모델을 입력받아 연산 그래프를 파싱하고, 레이어 타입·입력·출력 형태·파라미터(가중치 제외)를 기준으로 중복 레이어를 식별한다. 두 번째 모듈인 자동 벤치마크 생성기는 중복되지 않은 고유 레이어마다 파라미터화된 cuDNN·cuBLAS 마이크로벤치마크 코드를 자동으로 생성한다. 이 마이크로벤치마크는 해당 레이어를 구현하는 API 호출만을 수행해 순수 연산 지연을 측정한다. 세 번째 모듈인 성능 데이터베이스는 실행된 마이크로벤치마크의 결과를 저장하고, 새로운 모델이 추가될 때 기존 결과를 재사용함으로써 벤치마크 비용을 크게 절감한다. 마지막으로 분석기(Analyzer)는 사용자가 지정한 모델·GPU 환경에 대해 데이터베이스에서 레이어별 지연을 조회하고, 두 가지 실행 시나리오(순차 실행, 데이터 독립 레이어의 비동기 병렬 실행)를 가정해 “하한 지연시간(lower‑bound latency)”을 합산한다. “하한 지연시간”은 모델 실행에 필수적인 cuDNN·cuBLAS API 호출 지연만을 고려하고, 프레임워크 오버헤드·메모리 전송·GPU 커널 런타임 오버헤드는 무시한다. 따라서 실제 실행 지연과의 차이는 최적화 여지를 정량적으로 나타낸다. 저자들은 이 메트릭을 기반으로 여섯 가지 최적화 질문(Q1~Q6)을 정의하였다. Q1은 최적화가 가능할 경우 이론적인 속도 향상을, Q2는 독립 레이어의 병렬 실행 여부, Q3는 컨볼루션 레이어가 최적 알고리즘을 사용했는지, Q4는 프레임워크 내부 비효율, Q5는 레이어 결합 적용 여부, Q6는 Tensor Core 활용 여부와 그 효과를 각각 평가한다. 평가에서는 30개의 비전 모델(ResNet, Inception, VGG 등)을 선택하고, MXNet, ONNX Runtime, PyTorch 세 가지 프레임워크에서 7대 GPU(Kepler, Maxwell, Pascal, Turing, Volta) 위에서 실행하였다. 각 모델·프레임워크·GPU 조합에 대해 실제 실행 지연과 Benanza가 계산한 하한 지연을 비교한 결과, 평균적으로 1.32×(기하 평균)에서 최대 2.87×까지의 잠재 속도 향상이 존재함을 확인했다. 구체적인 최적화 사례로는: (1) cuDNN 컨볼루션 알고리즘을 모델·배치 크기에 맞게 재선택하면 평균 1.32×, (2) MXNet·PyTorch 내부 스케줄링 비효율을 제거하면 각각 1.15×·2.3×, (3) 레이어 결합을 적용하면 ResNet‑50‑v1에서 1.09×, (4) Tensor Core를 활용하면 동일 모델에서 1.72×의 추가 이득을 얻었다. 이들 최적화를 동시에 적용했을 때 ResNet‑50‑v1은 전체 시스템·배치 크기에서 최대 1.95×의 속도 향상을 달성하였다. Benanza의 설계는 지속 가능성과 확장성을 강조한다. 레이어 중복 제거와 벤치마크 재사용 메커니즘은 새로운 모델이 지속적으로 등장하는 상황에서도 벤치마크 비용을 최소화한다. 또한, 현재는 cuDNN·cuBLAS와 ONNX에 초점을 맞추었지만, 모듈화된 아키텍처 덕분에 MKL‑DNN, OneDNN, CPU‑BLAS, 혹은 사용자 정의 연산자에 대한 플러그인 형태의 확장이 가능하다. 한계점으로는 메모리 전송·대역폭 비용을 무시함으로써 메모리 바운드 모델에서는 하한 지연이 과소평가될 수 있다는 점, 그리고 동적 그래프·커스텀 연산자에 대한 지원이 아직 제한적이라는 점을 들 수 있다. 결론적으로 Benanza는 딥러닝 모델 최적화 파이프라인에 정량적 기준을 제공함으로써, 연구자와 엔지니어가 “어디서”와 “얼마나” 최적화를 적용해야 하는지를 빠르게 판단하도록 돕는다. 이는 기존 수동 프로파일링 기반 분석의 비효율성을 해소하고, 새로운 모델이 등장할 때마다 반복적인 벤치마크 작업을 최소화한다는 점에서 실용적 가치를 갖는다.