저전력 엣지 AI를 위한 유니어리 매트릭스 곱 설계 비교

초록

본 논문은 저정밀 정수 기반 딥러닝 추론에 적용 가능한 세 가지 최신 유니어리 GEMM 설계(uGEMM, tuGEMM, tubGEMM)를 전통적인 이진 GEMM과 비교한다. Nangate 45 nm 공정에서 2‑, 4‑, 8‑비트 및 16×16, 32×32 매트릭스 크기로 포스트‑합성 면적·전력·에너지·ADP를 평가하고, 8개 CNN과 LLaMA2‑70B 모델의 가중치 희소성을 분석한다. 결과는 tuGEMM이 면적·전력 효율에서 최고이지만 지연이 크게 늘어나 에너지 효율은 낮으며, tubGEMM이 2‑비트에서 가장 에너지 효율적이고 4‑비트 이상 대형 PE 배열에서는 bGEMM을 능가한다는 점을 보여준다.

상세 분석

논문은 먼저 유니어리 컴퓨팅의 두 가지 코딩 방식인 레이트‑코딩과 템포럴‑코딩을 정리하고, 각각을 활용한 uGEMM, tuGEMM, tubGEMM의 구조적 차이를 도식화한다. uGEMM은 레이트와 템포럴을 통합한 설계로, 곱셈에 단일 AND 게이트, 누적에 병렬 가산 트리를 사용한다. 이 접근은 스트리밍 실행을 가능하게 하지만, 비트폭이 커질수록 가산 트리의 면적·전력이 급증한다. tuGEMM은 순수 템포럴 코딩 기반의 카운터 설계로, 곱셈·누적을 카운터와 시프트 연산만으로 구현한다. 설계가 단순해 면적·전력은 가장 낮지만, 중첩된 템포럴 스트림 처리 때문에 지연이 O(N·(2^w−1)^2)으로 급격히 늘어나 에너지 소비가 크게 증가한다. tubGEMM은 템포럴‑유니코드와 이진 입력을 혼합한 하이브리드 구조로, 템포럴‑코딩된 한 입력과 이진‑코딩된 다른 입력을 동시에 처리한다. 2‑유니코드 스킴을 도입해 템포럴 스트림 길이를 절반으로 줄임으로써 tuGEMM 대비 지연을 N·(2^w−2) 사이클로 감소시켰다.

평가 방법은 모든 설계를 동일한 Nangate 45 nm 라이브러리와 400 MHz 클럭으로 포스트‑합성한 뒤, 2‑, 4‑, 8‑비트와 16×16, 32×32 매트릭스에 대해 면적(µm²), 정전력(mW), 에너지(nJ), ADP(mm²·ns)를 측정한 것이다. 표 I‑IV와 도식 2를 통해 설계별 스케일링 특성을 정량화한다. 주요 관찰은 다음과 같다.

1. 면적·전력 측면에서 tuGEMM이 압도적으로 우수하다. 카운터 기반 구조가 대규모 가산 트리를 필요로 하지 않아 면적이 uGEMM·tubGEMM·bGEMM보다 5‑10배 작고, 전력도 2‑3배 낮다.
2. 그러나 지연이 가장 큰 병목이며, 특히 8‑비트에서 에너지 소비가 10배 이상 급증한다. 이는 템포럴 스트림의 중첩 연산이 비선형적으로 늘어나기 때문이다.
3. tubGEMM은 uGEMM 대비 면적·전력이 크게 감소하면서도 지연을 크게 단축한다. 2‑비트에서는 에너지 효율이 bGEMM을 1.5배 정도 앞서며, 4‑비트에서는 bGEMM과 거의 동등한 수준을 유지한다. 대형 PE 배열(64×64, 128×128)에서도 에너지와 ADP가 bGEMM을 근소하게 능가한다.
4. uGEMM은 레이트‑코딩의 단순 곱셈 덕분에 비트폭 확대에 따른 전력 스케일링이 가장 완만하지만, 매트릭스 크기가 커질수록 가산 트리 면적이 급증해 전체 ADP가 크게 늘어난다.
5. bGEMM은 전통적인 이진 곱셈·가산 구조로, 비트폭이 증가해도 지연이 N 사이클로 일정해 에너지 효율이 좋지만, 면적은 높은 편이며 2‑비트에서는 tubGEMM에 뒤처진다.

가중치 희소성 분석에서는 8개 CNN과 LLaMA2‑70B 모델을 대상으로 워드 희소도와 비트 희소도를 측정했다. 템포럴‑코딩 기반 설계(tuGEMM·tubGEMM)는 비트 희소도가 높을수록 ‘0’ 비트가 많아 동적 지연이 비례적으로 감소한다. 실제 프로파일링 결과, 대부분의 CNN에서 평균 비트 희소도가 60‑70% 수준이며, LLaMA2에서는 MSB 기반 분석을 통해 50% 이상 비트가 ‘0’으로 나타났다. 이는 tuGEMM·tubGEMM이 실제 워크로드에서 평균 지연을 최악 경우보다 30‑40% 정도 단축할 수 있음을 시사한다.

종합적으로, 저전력·소형 엣지 AI 가속기를 목표로 할 때 설계 선택은 비트폭, 매트릭스 크기, 희소성 특성에 따라 달라진다. 2‑비트 초저정밀 상황에서는 tubGEMM이 가장 에너지 효율적이며, 4‑비트 이상에서는 대형 매트릭스(≥64×64)에서 tubGEMM이 bGEMM을 능가한다. 반면, 면적·전력 절감이 최우선이고 지연에 대한 제약이 완화될 수 있는 경우 tuGEMM이 최적 선택이다.