FPGA에서 하이브리드 효율적 컨볼루션 알고리즘을 이용한 얼굴 인식

최근의 FPGA 작업은 대부분 일반 컨볼루션(CONV) 계층 최적화에 집중하고 있습니다. 그러나 최근 트렌드는 상태-of-the-art 신경망 아키텍처가 병렬 분기의 토폴로지를 포함하는 경향이 있다는 것입니다. 이러한 분기는 필터 결합 또는 합산을 통해 통합됩니다. 단일 가속 엔진으로 깊은 네트워크의 모든 계층을 최적화하면 리소스 활용이 동적으로 부족한 문제가 발생할 수 있습니다. 특히 복잡한 CNN 구조에서 각 분기에는 가장 가능성이 높은 다른 크기와 차원의 컨볼루션을 가질 것입니다. 또한 과거 접근 방식은 개별 분기가 독립적이라는 속성을 활용하지 않았으므로 동시에 실행할 수 있는 병렬화 가능한 CONV 분기를 활용하는 기회를 놓쳤습니다.

이 문제를 극복하기 위한 하나의 해결책은 각 계층 또는 계층의 하위 집합을 위해 특별히 설계된 여러 개의 CONV 엔진을 구현하는 것입니다. 최소한의 전체 지연 시간을 달성하기 위해 리소스 분할 솔루션이 제안되었습니다. 우리는 이러한 리소스 할당 전략을 확장하여 병렬 분기 토폴로지의 내부 모듈 병행성을 활용하여 더 나은 지연 시간을 얻는 방법으로 적용합니다.

알고리즘 개선을 통해 컨볼루션 연산 가속화를 추구하는 연구자들도 있습니다. 연구자들은 공간 영역에서의 컨벌루션과 주파수 영역에서의 원소별 곱셈 사이의 동등성을 활용합니다. 이 방법은 FFT 기반 컨볼루션을 통해 연산 복잡도를 수학적으로 줄이는 것을 허용합니다. 최근에는 Winograd 최소 필터 기반 컨볼루션 알고리즘이 소개되었으며, 작은 커널 크기와 스트라이드에 적합합니다. FFT 기반 및 Winograd 기반 알고리즘을 FPGA에서 가속화하기 위한 작업이 이루어졌지만, 두 가지 빠른 알고리즘을 서로 다른 크기의 컨볼루션에 적용하여 더 나은 성능을 얻는 작업은 아직 수행되지 않았습니다.

우리는 FFT 및 Winograd 컨볼루션 알고리즘을 분석하고 각각의 알고리즘이 적합한 크기와 깊이를 찾아내는 설계 공간 탐색을 수행하였습니다. 이러한 분석은 FPGA용 하이브리드 컨볼루션 알고리즘 설계에 통합된 일반적인 방법론입니다.

우리는 최근 발명된 병렬 분기를 갖는 CNN 토폴로지의 내부 모듈 병행성을 고려한 새로운 리소스 할당 방안을 제시하였습니다. 이를 통해 전체 시스템 지연 시간을 최소화합니다. 또한 HLS 도구에서 최적의 리소스 분할 매개변수를 빠르게 찾는 알고리즘을 구현하였습니다.

우리는 Inception 모듈에 특화된 템플릿 기반 재구성 가능한 HLS IP를 설계하였으며, 이러한 IP를 사용하여 Inception V2를 기반으로 하는 얼굴 인식 시스템을 구현하였습니다. 우리는 GPU와 이전 GoogLeNet FPGA 구현 대비 더 나은 성능과 에너지 효율성을 달성하였습니다.