초고속 저전력 이벤트 기반 객체 탐지를 위한 FPGA 기반 신경형 인지 시스템

본 논문은 고속·저전력 객체 탐지를 위해 이벤트 기반 비전(DVS)과 전통적인 RGB 카메라를 결합한 이중 센서 아키텍처를 제안한다. 핵심은 두 개의 IP 코어, 즉 Neuromorphic Processing Unit(NPU)와 Cognitive Image Signal Processor(ISP)이며, 두 코어 모두 FPGA 상에서 동기식으로 동작하도록 설계되었다. NPU는 DVS에서 발생하는 비동기 이벤트 스트림을 (시간, x, y, polarity) 형태의 튜플로 수집하고, 고정된 시간 윈도우로 구분한다. 각 윈도우 내 이벤트는 one‑hot 방식의 시간‑공간 voxel 그리드로 변환되어, 스파이킹 컨볼루션 레이어에 입력된다. 뉴런 모델은 LIF(Leak‑y Integrate‑and‑Fire) 방정식을 이산화해 전압 누설과 입력 전류를 효율적으로 구현했으며, 스파이크 발생 시 전압을 리셋한다. 비미분 가능한 스파이크 함수에 대해 서러게이트 그래디언트를 적용해 BPTT와 AdamW 최적화를 가능하게 함으로써, 기존 SNN 훈련에서 발생하는 수렴 문제를 해결했다. 세 가지 스파이킹 백본(Spiking‑VGG, Spiking‑DenseNet, Spiking‑MobileNet)과 Spiking‑YOLO를 Prophesee GEN1 자동차 검출 데이터셋으로 평가했다. 실험 결과, Spiking‑YOLO가 평균 정밀도 0.4726을 기록해 가장 높은 정확도를 보였으며, 연산량 대비 효율도 우수했다. 반면 Spiking‑MobileNet은 48 % 이상의 뉴런 비활성률을 보여 전력 효율성이 뛰어났다. 이러한 결과는 시스템 설계 시 정확도와 전력 예산 사이의 트레이드오프를 선택할 수 있는 근거를 제공한다. ISP는 AXI4‑Stream 프로토콜을 기반으로 완전 스트리밍 파이프라인을 구현한다. 주요 단계는 다음과 같다. 1) 동적 결함 픽셀 보정(DPC): 5×5 윈도우 내 강도 편차를 분석해 결함 픽셀을 실시간으로 탐지한다. 2) 자동 화이트밸런스(AWB) 및 화이트밸런스(WB): NPU가 제공하는 조명·동작 메타데이터를 활용해 RGB 게인을 동적으로 조정한다. 3) 디모자이킹: Malvar‑He‑Cutler 선형 보간을 FPGA 친화적으로 구현해 에지 보존을 유지한다. 4) 비국소 평균(NLM) 디노이징: 패치 기반 유클리드 거리 계산을 파이프라인화해 잡음 억제와 세부 디테일 보존을 동시에 달성한다. 5) 감마 보정 및 색공간 변환: LUT와 고정소수점 연산으로 감마 곡선을 적용하고, RGB를 YCbCr로 변환한다. 시스템 통합은 상위 모듈에서 NPU와 ISP를 폐쇄 루프 형태로 연결한다. NPU가 DVS 이벤트를 통해 객체와 조명·운동 특성을 탐지하면, 해당 정보를 제어 인터페이스를 통해 ISP에 전달한다. ISP는 전달받은 파라미터에 따라 노출, 화이트밸런스, 디노이징 강도 등을 실시간으로 조정한다. 이 과정은 DVS와 RGB 데이터 스트림을 동기화하고, 객체가 탐지된 순간 고해상도 RGB 이미지를 최적화된 품질로 출력하도록 만든다. FPGA 합성 결과, 논리 셀 사용량은 전체 자원의 약 30 %에 머물렀으며, DSP 사용량은 25 % 수준이었다. 시스템은 최대 200 kFPS 이벤트 처리와 60 FPS RGB 스트리밍을 동시에 지원한다. 설계는 RTL 수준에서 ASIC 전환을 고려한 흐름을 제공해, 향후 고신뢰도 항공·자동차·산업용 임베디드 시스템에 적용 가능한 TRL 6/7 수준을 달성한다.