모바일 비전 트랜스포머 추론 지연 연구와 효율 예측 모델

초록

본 논문은 190개의 실제 Vision Transformer(ViT)와 102개의 CNN을 모바일 CPU에서 실험하여 지연 특성을 정량적으로 분석한다. 메모리 포맷, GELU 활성화 함수, 프레임워크(Torch‑Mobile vs TFLite) 차이가 지연에 미치는 영향을 규명하고, 6개 모바일 디바이스와 2개 ML 프레임워크에서 1000개의 합성 ViT에 대한 측정 데이터를 구축한다. 이를 기반으로 간단한 머신러닝 기반 지연 예측기를 학습시켜 실제 ViT와 합성 ViT에 대해 4~9% 수준의 평균 오차율을 달성한다. 결과는 NAS와 협업 추론 등 실시간 모바일 응용에 유용함을 보여준다.

상세 분석

이 연구는 모바일 환경에서 Vision Transformer(ViT)의 실사용 가능성을 평가하기 위해 세 가지 핵심 축을 잡았다. 첫째, 기존 연구가 클라우드 GPU 위주의 학습·추론 성능에 집중한 반면, 본 논문은 모바일 CPU(대형·중형·소형 코어 조합)와 제한된 메모리 환경에 초점을 맞추었다. 190개의 실제 ViT 모델을 PyTorch Mobile 형식으로 변환하고, 6가지 스마트폰(Snapdragon 855, Snapdragon 710, Exynos 9820, Helio P35, A14 Bionic, A12 Bionic)에서 다양한 코어 할당과 양자화 옵션을 적용해 지연을 측정했다. 특히, 64개의 모델은 양자화가 불가능한 연산(예: 특정 롤 연산) 때문에 FP32 그대로 실행했으며, 이는 양자화가 지연 감소에 미치는 한계를 실증한다.

둘째, ViT와 CNN의 연산 구조 차이를 정량화했다. FLOPs 기준으로 ViT가 CNN보다 평균 1.5배 이상 높은 연산량을 보였으며, 동일 FLOPs 구간에서도 ViT는 평균 1.75배 더 높은 지연을 기록했다. 세부 분석에서는 ViT 지연이 크게 두 부분으로 나뉘었다. (1) Self‑attention 블록의 선형 변환·행렬 곱 연산이 전체 지연의 40~50%를 차지했으며, 이는 토큰 수 N이 제곱에 비례해 증가하는 O(N²·D) 복잡도 때문이다. (2) GELU 활성화 함수가 예상보다 큰 비중(≈30%)을 차지했는데, GELU는 입력 값에 따라 근사 방식이 달라져 실제 연산 시간이 FLOPs와 불일치한다는 점을 발견했다. 따라서 FLOPs만으로는 ViT 지연을 정확히 예측하기 어렵다.

셋째, 프레임워크와 메모리 포맷이 지연에 미치는 영향을 실험적으로 규명했다. 동일 모델을 PyTorch Mobile과 TensorFlow Lite(TFLite)에서 실행했을 때, 동일 디바이스에서도 평균 10~20% 차이가 발생했으며, 특히 Conv 연산은 TFLite에서 더 최적화된 반면, 행렬 곱 연산은 Torch Mobile이 우위였다. 또한, 메모리 레이아웃(NCHW vs NHWC)과 데이터 타입(FP16 vs INT8) 전환이 메모리 대역폭 사용률을 변화시켜 지연에 직접적인 영향을 주었다. 고성능 코어를 활용하면 양자화 후 1.2배 가량 속도가 개선되지만, 저전력 코어에서는 오히려 오버헤드가 증가하는 현상이 관찰되었다.

이러한 인사이트를 바탕으로 저자들은 “합성 ViT” 검색 공간을 설계했다. Patch Embedding, Token Mixer(예: Multi‑Head Attention, Spatial‑Reduction Attention, SepConv), MLP, Normalization, Activation 등 7가지 빌딩 블록을 조합해 1000개의 다양한 구조를 생성하고, 각 모델을 6개 디바이스·2개 프레임워크·다양한 코어·양자화 설정에서 측정해 대규모 지연 데이터셋을 구축했다. 이 데이터셋을 이용해 선형 회귀, 랜덤 포레스트, Gradient Boosting 등 경량 ML 모델을 학습시켰으며, 검증 결과 synthetic ViT에 대해 평균 절대 오차율(MAE)이 4.4% (Torch Mobile)·4.8% (TFLite), 실제 190개 ViT에 대해서는 8.2%·6.1% 수준을 기록했다. 특히, NAS(Neural Architecture Search) 시뮬레이션에서 후보 100개의 ViT를 빠르게 필터링하고, 협업 추론(split inference) 시 모델 파티션을 최적화하는 데 충분히 정확한 예측력을 보였다.

전체적으로 이 논문은 (1) 모바일 CPU에서 ViT 지연이 CNN보다 구조적으로 불리함을 실증, (2) GELU와 메모리 포맷·프레임워크 차이가 지연 변동의 주요 원인임을 밝힘, (3) 대규모 합성 ViT 지연 데이터셋과 경량 예측 모델을 제공함으로써 실무에서의 NAS·협업 추론 등 실시간 모바일 비전 애플리케이션에 바로 적용 가능한 도구를 제시했다는 점에서 의의가 크다.