에지 AI를 위한 하드웨어 인식 이종 양자화 SigmaQuant

본 논문은 에지 디바이스에 최적화된 이종 양자화 방법인 SigmaQuant을 제안한다. 서론에서는 DNN 모델이 에지 환경에서 직면하는 메모리·전력·연산 제한을 언급하고, 기존의 균일 양자화가 레이어별 민감도 차이를 반영하지 못해 저비트폭에서 정확도 손실이 크게 발생한다는 문제점을 제시한다. 이를 해결하기 위해 레이어마다 다른 비트폭을 할당하는 이종 양자화가 필요하지만, 현재 방법들은 대규모 탐색 비용이나 하드웨어 제약을 충분히 반영하지 못한다는 점을 지적한다. SigmaQuant의 핵심 아이디어는 두 단계의 경량 탐색 프로세스를 통해 레이어별 비트폭을 자동으로 결정하는 것이다. 첫 단계인 “클러스터 기반 초기화”에서는 각 레이어의 가중치 표준편차와 FP와 양자화된 가중치 분포 사이의 KL 발산을 계산한다. 표준편차가 크고 KL 발산이 큰 레이어는 높은 비트폭을, 반대로 작은 레이어는 낮은 비트폭을 할당하도록 클러스터링한다. 이 과정은 메모리 제한만을 만족시키는 초기 솔루션을 빠르게 제공한다. 두 번째 단계인 “미세 조정”에서는 초기 솔루션을 바탕으로 정확도와 메모리·연산량(또는 지연) 제약을 동시에 만족시키도록 몇 개의 레이어 비트폭을 순차적으로 조정한다. 조정 기준은 정확도 손실을 최소화하면서 비트폭을 감소시켜 메모리와 연산량을 절감하는 것이다. 이때 KL 발산을 재계산해 양자화 손실을 정량적으로 평가하고, 손실이 급격히 증가하는 경우 조정을 중단한다. 이렇게 하면 탐색 공간을 크게 축소하면서도 파레토 최적점에 근접한 비트폭 배분을 얻을 수 있다. 하드웨어 구현 부분에서는 시프트‑덧셈 기반 MAC 유닛을 사용한 ASIC 가속기를 설계하고, SigmaQuant이 생성한 혼합 정밀도 모델을 실제 칩에 매핑한다. 시프트‑덧셈 구조는 비트폭이 하나 늘어날 때마다 연산 사이클과 전력 소모가 거의 선형적으로 증가하므로, SigmaQuant이 낮은 비트폭을 할당한 레이어는 하드웨어에서 직접적인 면적·전력·지연 절감 효과를 가져온다. 실험 결과, INT8 기반 구현 대비 면적 22.3 %·에너지 20.6 % 절감, 지연은 약간 증가했지만 정확도는 동일하거나 2 % 이상 향상되는 것을 확인했다. 실험 설정으로는 CIFAR‑100과 ImageNet 데이터셋에 ResNet·MobileNet 계열 모델을 적용했으며, 기존 최첨단 이종 양자화 기법들과 비교했다. 동일 모델 크기 기준으로 최고 2 % 정확도 향상, 동일 정확도 기준으로 메모리 사용량을 최대 40 % 절감했다. 또한, 동일 메모리 예산 하에서 SigmaQuant은 INT8 대비 4 % 이상의 Top‑1 정확도 향상을 보였다. 결론에서는 SigmaQuant이 레이어별 통계 정보를 활용한 경량 탐색으로 하드웨어 제약을 만족하면서도 높은 정확도를 유지하는 효율적인 이종 양자화 방법임을 강조한다. 향후 연구 방향으로는 동적 비트폭 전환, 프루닝과의 공동 최적화, 다양한 가속기 아키텍처에 대한 확장성을 제시한다.