엣지 AI를 위한 혼합 저정밀 하드웨어·소프트웨어 공동 설계 프레임워크 Cheetah

본 논문은 엣지 디바이스의 제한된 전력·메모리·연산 자원을 고려해, 저정밀 딥 뉴럴 네트워크(DNN) 구현을 위한 하드웨어·소프트웨어 공동 설계 프레임워크인 Cheetah를 제안한다. 기존 연구들은 주로 추론 단계에서만 포지트(posit) 수치 형식을 탐색했으며, 학습 단계에서는 부동소수점이나 고정소수점에 머물렀다. Cheetah는 이러한 격차를 메우기 위해 포지트를 학습과 추론 모두에 적용하고, 포지트·부동소수점·고정소수점 세 가지 형식을 동일 비트폭에서 비교한다. 1. **배경 및 동기** - 엣지 컴퓨팅은 저지연·데이터 이동 최소화를 목표로 하지만, 현대 DNN은 수백 메가 파라미터와 수 기가플롭스 연산을 요구한다. - 저정밀 양자화는 메모리·대역폭·연산 비용을 크게 절감하지만, 정확도 저하와 하드웨어 복잡도 증가가 문제다. - 포지트는 테이퍼드 프리시전 특성으로 1에 가까운 값에서 높은 정확도를 제공하며, DNN 파라미터 분포와 잘 맞는다. 2. **관련 연구** - 기존 저정밀 학습 연구는 블록 부동소수점(BFP), Flexpoint, 혼합 정밀도(16‑bit 가중치·활성화·그라디언트, 32‑bit 누산) 등을 활용했다. - 추론에서는 8‑bit 고정·부동소수점, BFP 등이 주류였으며, 포지트를 활용한 가속기(Deep Positron)와 로그‑플로트 기반 연구가 최근 등장했다. - 그러나 포지트를 학습까지 확장하거나, 동일 비트폭에서 포지트·부동·고정소수점을 종합 비교한 연구는 부족했다. 3. **포지트 수치 형식** - 포지트는 부호·레짐·지수·가수로 구성되며, 레짐 비트가 연속된 0 또는 1의 런‑길이로 레짐 값을 결정한다. - 이 구조는 0 주변에서 높은 해상도를 제공하고, 극단값에서는 정밀도가 감소해 동적 범위와 정확도 사이의 균형을 맞춘다. 4. **Cheetah 프레임워크 설계** - **소프트웨어 레이어**: Keras·TensorFlow 기반 모델을 불러와, 선택된 수치 형식·양자화 방식을 적용해 저정밀 학습·추론을 에뮬레이션한다. - **하드웨어 레이어**: FPGA에 구현된 Soft‑core EMAC(Exact‑MAC) 모듈을 제공한다. 포지트·부동·고정소수점 각각에 맞는 곱셈·누산 회로를 설계하고, 면적·전력·지연을 측정한다. - **자동 최적화 흐름**: 사용자가 목표 EDP 감소율(예: 3×)과 허용 정확도 손실을 입력하면, 프레임워크는 비트폭을 1비트씩 감소시키며 성능·하드웨어 복잡도를 평가한다. 포지트·부동·고정소수점 중 우선순위가 높은 수치 형식을 먼저 탐색하고, 양자화 방식은 그 다음 단계에서 선택한다. 5. **실험 설정** - 데이터셋: MNIST, Fashion‑MNIST, CIFAR‑10. - 모델: 단일 은닉층 피드포워드 NN 및 간단한 CNN. - 비교 대상: 16‑bit 포지트 vs 16‑bit IEEE‑754 부동소수점 (학습), 5‑8‑bit 포지트 vs 동일 비트폭 부동·고정소수점 (추론). - 양자화 방식: 라운딩(단순 반올림)과 선형(스케일·오프셋 기반) 두 가지. 6. **주요 결과** - **학습**: 16‑bit 포지트는 16‑bit 부동소수점 대비 평균 0.4 % 높은 최종 정확도를 달성했으며, 학습 손실 수렴 속도도 약간 빠른 편이었다. 특히 작은 모델에서 과적합 방지 효과가 두드러졌다. - **추론**: 5‑8‑bit 포지트는 동일 비트폭 부동·고정소수점 대비 EDP를 20 %~35 % 절감했으며, 정확도 손실은 0.8 % 이하로 제한되었다. 포지트 기반 EMAC은 부동소수점 대비 레지스터 사용량이 30 % 감소하고, 파이프라인 지연이 1~2 사이클 단축되었다. - **양자화 방식 비교**: 선형 양자화가 라운딩보다 약간 높은 정확도를 유지했지만, 하드웨어 복잡도는 비슷했다. 따라서 Cheetah는 기본적으로 선형 양자화를 권장한다. 7. **논의 및 한계** - 포지트는 저정밀 환경에서 부동소수점 대비 정밀도·동적 범위 효율이 뛰어나지만, 레짐 인코딩 로직이 복잡해 ASIC 설계 시 추가적인 최적화가 필요하다. - 현재 프레임워크는 단일 은닉층 및 간단한 CNN에 국한돼 있어, 대규모 ResNet·EfficientNet 등에 대한 확장 검증이 필요하다. - 양자화 옵션이 라운딩·선형 두 가지만 지원되므로, KL‑divergence 기반 비선형 양자화나 학습 기반 양자화와의 비교가 향후 과제로 남는다. 8. **결론** Cheetah는 포지트 수치 형식을 학습·추론 모두에 적용하고, 하드웨어·소프트웨어 공동 설계 관점에서 비트폭·양자화·수치 형식 선택을 자동화함으로써 엣지 AI 설계자에게 실용적인 설계 가이드를 제공한다. 실험 결과는 포지트가 저정밀 DNN에서 에너지·지연 효율과 정확도 유지 측면에서 기존 부동·고정소수점보다 우수함을 입증한다. 향후 연구에서는 더 복잡한 네트워크, ASIC 구현, 그리고 다양한 양자화 기법을 통합해 프레임워크를 확장할 계획이다.