하이브리드 정밀도 CNN 구현 방법

초록

본 발명은 CNN을 고정소수점 형태로 구현할 때, 연산과 저장에 사용되는 비트 폭을 층·연산별로 가변적으로 할당하는 하이브리드 정밀도 방식을 제안한다. 파라미터와 활성값을 각각 최적의 비트 수로 양자화함으로써 전력 소모와 연산량을 크게 줄이면서도 원본 모델의 정확도를 유지한다.

상세 요약

이 논문은 기존의 균일( homogeneous) 정밀도 양자화가 실제 하드웨어 구현에서 발생하는 전력·면적·지연 비용을 최적화하기에 한계가 있음을 지적한다. 특히, 깊은 신경망에서는 각 레이어마다 활성값의 동적 범위와 파라미터의 민감도가 크게 달라지므로, 모든 연산에 동일한 비트 폭을 적용하면 과도한 자원 낭비가 발생한다. 저자는 이러한 문제를 해결하기 위해 ‘하이브리드 정밀도’라는 개념을 도입한다. 핵심 아이디어는 두 축을 기준으로 정밀도를 조절하는 것이다. 첫 번째 축은 가중치와 활성값을 구분하여 각각 별도의 비트 폭을 할당하는 것이며, 두 번째 축은 레이어 혹은 연산 유형(예: 1×1 컨볼루션, 3×3 컨볼루션, 깊이별 합성곱 등)에 따라 비트 수를 차등 적용한다. 이를 위해 저자는 먼저 사전 학습된 FP32 모델을 기반으로 각 레이어별 민감도 분석을 수행한다. 민감도는 양자화 후 정확도 저하량을 측정해 정량화하며, 민감도가 높은 레이어는 높은 비트 수(예: 8비트)로 유지하고, 민감도가 낮은 레이어는 낮은 비트 수(예: 4비트)로 축소한다.

또한, 가중치와 활성값에 서로 다른 스케일링 팩터와 오프셋을 적용하는 비선형 양자화 스킴을 제안한다. 이는 고정소수점 연산에서 발생할 수 있는 오버플로우와 언더플로우를 최소화하고, 양자화 잡음이 모델 성능에 미치는 영향을 억제한다. 하드웨어 관점에서는 이러한 가변 비트 폭을 지원하기 위해 멀티프레시전( multi‑precision ) 연산 유닛과 동적 바이어스 제어 로직을 설계한다. 저자는 또한 비트 폭 전환 시 발생하는 데이터 정렬 문제를 해결하기 위해 메모리 인터페이스에 패딩 및 버퍼링 메커니즘을 삽입한다.

실험 결과는 이미지 분류 벤치마크(CIFAR‑10, ImageNet)에서 기존 8비트 균일 양자화 대비 평균 1.2%~2.5%의 정확도 손실을 줄이면서, 전력 소모는 30% 이상 절감했음을 보여준다. 특히, 경량화된 모바일 ASIC 설계에 적용했을 때, 면적 효율이 1.8배 향상되고, 처리량은 2배 이상 증가한다. 이러한 결과는 하이브리드 정밀도가 실제 제품 수준의 AI 가속기에 적용 가능함을 입증한다.

요약하면, 논문은 정밀도 할당을 레이어·연산별로 최적화하는 방법론, 이를 지원하는 하드웨어 구조, 그리고 실험을 통한 효율성 검증이라는 세 축을 체계적으로 제시한다. 향후 연구에서는 자동화된 정밀도 탐색 알고리즘과 다양한 네트워크 아키텍처(예: 트랜스포머, 그래프 신경망)로의 확장이 기대된다.