임베디드 딥러닝을 위한 파라미터화 가능한 FPGA 컨볼루션 가속기

초록

본 논문은 고수준 합성(HLS) 기반의 파라미터화 가능한 컨볼루션 가속기 템플릿을 제안한다. 설계자는 FPGA 자원, 지연, 전력, 비용 등 다양한 제약을 고려해 PE 수, 메모리 tiling, 데이터 흐름 등을 조정할 수 있다. 8‑bit 동적 고정소수점 양자화를 적용해 정확도 손실을 최소화하면서 전력 소모를 크게 낮추었으며, HW/SW 공동 설계와 데이터플로우·파이프라인 최적화를 통해 실시간 임베디드 애플리케이션에 적합한 성능을 달성한다.

상세 분석

이 연구는 임베디드 시스템에서 CNN 가속기의 설계·구현 복잡성을 크게 완화시키는 HW/SW 공동 설계 흐름을 제시한다. 핵심 아이디어는 HLS를 이용해 파라미터화 가능한 템플릿을 만들고, 설계 파라미터(예: 출력 채널 수 Co, 입력 채널 수 Ci, 윈도우 크기 Fh×Fw, 병렬 처리 요소 수 OCP/ICP)를 사용자가 목표 애플리케이션의 요구사항에 맞게 조정하도록 하는 것이다.

1. 아키텍처: 가속기는 CONV‑PART와 MPOOL‑PART 두 블록으로 나뉜다. CONV‑PART는 입력 행(row) 버퍼, 윈도우 버퍼, 가중치·바이어스 OCM, 다중 PE(곱셈·덧셈 트리)로 구성되며, 데이터 흐름을 최적화하기 위해 AXI‑Stream FIFO와 데이터 패킹을 활용한다. MPOOL‑PART는 3×3 및 2×2 풀링을 채널 차원에서 병렬로 수행하도록 설계돼, 현재 행·픽셀과 결과 행·픽셀을 교차 비교해 최대값을 추출한다.

2. 양자화 전략: 8‑bit 동적 고정소수점(DFP) 방식을 채택해 메모리 요구량을 크게 줄이고, FPGA 저전력 SoC에서 부동소수점 연산에 비해 자원·전력 효율을 3~4배 이상 향상시킨다. 양자화 후에도 정확도 손실은 0.5% 이하로 제한돼, 경량 및 대형 CNN 모두에 적용 가능하다.

3. HLS 최적화: 데이터 패킹(data_pack)으로 전송 대역폭을 최대화하고, dataflow pragma로 CONV‑PART와 MPOOL‑PART 사이의 파이프라인을 구현한다. 또한 pipeline pragma를 사용해 내부 연산을 단계별로 겹치게 하여 이론적 레이턴시를 최소화한다. array_partition pragma는 OCM을 입력·출력 채널 별로 다중 포트를 제공하도록 분할해, OCP(출력 채널 병렬)와 ICP(입력 채널 병렬) 수준의 공간적 병렬성을 확보한다. 이러한 최적화는 HLS 툴이 자동으로 생성하는 RTL에 직접 반영돼, 설계자가 RTL 수준에서 일일이 파이프라인 스테이지를 조정할 필요가 없게 만든다.

4. 파라미터 조정 메커니즘: 설계자는 FPGA 디바이스 용량, 목표 지연, 전력 예산 등에 따라 Co, Ci, OCP, ICP, 메모리 tiling 크기 등을 조정한다. 예를 들어, 저전력 애플리케이션에서는 OCP를 낮게 잡아 DSP 사용량을 줄이고, 대신 메모리 재사용을 늘려 전력 효율을 높인다. 반대로 고성능이 요구되는 경우 OCP와 ICP를 최대치로 설정해 병렬 연산을 극대화한다.

5. 실험 결과: 경량 CNN(예: MobileNet‑V1)과 대형 CNN(예: ResNet‑50) 두 워크로드에 대해 평가했으며, 파라미터화된 설계가 비파라미터화 설계 대비 평균 1.8×~2.3× 높은 GOPS/W 효율을 보였다. 또한 FPGA 재구성 없이 동일한 템플릿을 다양한 모델에 적용할 수 있어 설계·배포 주기가 크게 단축된다.

6. 한계와 향후 과제: 현재는 컨볼루션, ReLU, Max‑Pool만 지원하며, 완전 연결층이나 복합적인 비선형 연산은 CPU에 맡긴다. 향후에는 이러한 연산을 FPGA 내에서 파라미터화하여 전체 파이프라인을 온칩화하고, 자동 파라미터 탐색(예: Bayesian Optimization) 기법을 도입해 설계 공간을 효율적으로 탐색하는 연구가 필요하다.

전반적으로 이 논문은 HLS 기반 파라미터화 설계가 임베디드 딥러닝 가속기의 설계 복잡성을 낮추고, 다양한 제약 조건을 동시에 만족시키는 실용적인 방법임을 입증한다.