FPGA 최적화 곱셈기로 구현하는 고효율 딥러닝

초록

본 논문은 FPGA에서 저정밀 연산 대신 재구성 가능한 상수 계수 곱셈기(RCCM)를 활용해 연산 자원을 절감하고 정확도 손실을 최소화하는 방법을 제시한다. RCCM은 덧셈·뺄셈·시프트·멀티플렉서만으로 구현돼 FPGA 논리 요소에 최적화된다. 새로운 학습 기법으로 가중치를 RCCM이 지원하는 계수 집합에 매핑함으로써 8비트 양자화와 동등하거나 더 높은 정확도를 유지하면서 최대 50%의 자원 절감을 달성했다.

상세 분석

본 연구는 FPGA 기반 딥러닝 가속기의 핵심 병목인 곱셈 연산을 저정밀 고정소수점 대신 재구성 가능한 상수 계수 곱셈기(RCCM)로 대체한다는 혁신적인 접근을 취한다. RCCM은 입력값에 제한된 계수 집합을 곱하는 구조로, 전통적인 DSP 블록을 사용하지 않고 LUT, 레지스터, MUX만으로 구현한다. 이러한 설계는 FPGA의 논리 요소(LUT)와 라우팅 자원을 효율적으로 활용해 면적과 전력 소모를 크게 줄인다. 논문에서는 FPGA 논리 구조에 최적화된 여러 계수 집합을 제안했으며, 각 집합은 비트 시프트와 부호 반전만으로 표현 가능한 형태로 설계되어 하드웨어 구현 시 복잡도가 최소화된다.

정확도 저하를 방지하기 위해 저자들은 가중치 양자화와 매핑을 동시에 수행하는 새로운 학습 파이프라인을 개발했다. 먼저, 기존 네트워크 가중치를 통계적으로 분석해 RCCM이 지원하는 계수 분포와 가장 유사한 형태로 클러스터링한다. 이후, 클러스터 중심값을 RCCM 계수로 고정하고, 네트워크를 재학습시켜 손실 함수를 계수 제한에 맞게 조정한다. 이 과정에서 미분 가능한 근사 함수를 이용해 계수 선택을 연속적으로 최적화함으로써, 전통적인 8비트 균일 양자화와 비교해 동일하거나 더 높은 Top‑1/Top‑5 정확도를 유지한다.

실험 결과 AlexNet, ResNet‑18, ResNet‑50에 적용했을 때, 가장 효율적인 RCCM 구현은 6비트 고정소수점 수준의 정확도를 초과하면서도 전통적인 8비트 양자화 대비 평균 45%~50%의 LUT 사용량 감소와 30% 이상의 처리량 향상을 보였다. 또한 전력 소모도 비슷한 수준에서 20% 이상 절감되었다. 이러한 결과는 FPGA에서 고성능 딥러닝을 구현할 때 DSP 블록에 의존하지 않고도 충분한 정확도와 효율성을 달성할 수 있음을 증명한다. 향후 연구에서는 더 복잡한 네트워크 구조와 다양한 FPGA 아키텍처에 대한 적용 가능성을 탐색하고, 자동화된 계수 집합 탐색 알고리즘을 도입해 설계 시간을 단축하는 방안을 제시한다.