초저전력 하이브리드 프레임·이벤트 기반 UAV 추적 시스템

초록

본 논문은 소형·고속 드론을 실시간으로 탐지·추적하기 위해 프레임 기반과 이벤트 기반 두 가지 트래킹 모드를 결합한 에너지 효율적인 SoC를 제안한다. 이벤트 스트림을 RLE로 압축한 바이너리 이벤트 프레임을 생성하고, 객체 크기·속도에 따라 그레이스케일 패치 또는 궤적 기반 분류를 선택한다. 하드웨어‑알고리즘 공동 최적화를 통해 프레임당 96 pJ/픽셀, 이벤트당 61 pJ의 전력 소모를 달성했으며, 50‑400 m 거리와 5‑80 pixel/s 속도 범위에서 98.2 % 인식 정확도를 기록한다.

상세 분석

이 논문은 기존 이벤트 카메라 기반 안티‑UAV 시스템이 겪는 ‘소형·고속 대상에 대한 정확도 저하’와 ‘지속적인 NN 연산에 의한 전력 과다’ 문제를 동시에 해결하고자 한다. 핵심 아이디어는 (1) 이벤트 스트림을 짧은 시간 구간마다 RLE 압축하여 바이너리 이벤트 프레임을 재구성하고, (2) 재구성된 프레임에서 연결 성분 라벨링(CCL)으로 Region Proposal(RP)를 생성한 뒤, 객체의 크기와 속도에 따라 프레임 모드와 이벤트 모드 사이를 동적으로 전환하는 하이브리드 트래킹 알고리즘이다.

프레임 모드에서는 RP가 9 픽셀 이상이면 이벤트 모드로 전환하여 고속 추적을 수행하고, 그렇지 않은 경우 프레임 모드에 머물면서 전력 소모를 최소화한다. 이벤트 모드에서는 RP 주변에 발생하는 이벤트를 누적하고, 사전 정의된 TH(Threshold) 값을 초과하면 RP 좌표를 업데이트한다. TH는 객체 면적·속도에 비례하도록 적응적으로 조정되며, 이는 IoU를 최대화하는 데 기여한다.

고속 UAV의 경우 RP가 흐릿해지고 그레이스케일 패치가 블러링으로 인해 분류 정확도가 떨어진다. 이를 보완하기 위해 Fast Object Tracking Unit(FOTU)이 도입되었다. FOTU는 32개의 RP 모니터가 동시에 RP 변화를 감시하고, 이벤트 모드에서 RP 업데이트가 발생할 때마다 TH를 재계산한다. 또한, 속도가 25 pixel/s를 초과하는 객체에 대해서는 블러링된 이미지 대신 궤적 기반 분류를 수행한다. 궤적은 이동 거리 Δ가 4 pixel 이상일 때만 기록하여 메모리 오버헤드를 85 % 이상 절감한다.

Neural Processing Unit(NPU)은 64‑bit 맞춤형 ISA와 16×16 PE 배열을 갖춘 출력‑고정 데이터플로우 MAC 엔진이다. 각 PE는 제로‑스키핑 기능을 내장해 0값 연산을 완전히 차단함으로써 동적 전력을 크게 낮춘다. NPU는 그레이스케일 패치와 궤적 두 입력 형태를 모두 처리하도록 설계되었으며, 명령어 수준에서 모든 서브 블록을 병렬 실행해 지연 시간을 최소화한다. NPU는 전체 칩 전력의 50 % 이상을 차지하지만, 객체가 추적될 때만 활성화하도록 gating을 적용해 전체 연산량을 98 % 이상 감소시켰다.

칩은 40 nm CMOS 2 mm² 면적에 구현되었으며, 0.6‑1 V 전원에서 65‑214 MHz 동작한다. 프레임 모드에서는 96 pJ/픽셀, 이벤트 모드에서는 61 pJ/event의 에너지 효율을 달성했으며, 전력 소모는 각각 0.52 mW, 0.62 mW 수준이다. 공개된 UAV·차량 이벤트 데이터셋에서 기존 CCL 기반, SNN 기반 시스템보다 높은 정확도와 낮은 지연을 기록했으며, 특히 200 pixel/s 이상의 고속 대상에서도 88 % 이상의 IoU를 유지한다.

이와 같이 본 연구는 (1) 하드웨어와 알고리즘을 공동 설계해 프레임·이벤트 양쪽의 장점을 취합, (2) 적응형 TH와 FOTU를 통해 고속 객체의 RP 정합성을 확보, (3) 제로‑스키핑 MAC과 맞춤형 ISA로 NPU 전력을 최소화함으로써, 현재 안티‑UAV 분야에서 가장 에너지 효율적이면서도 정확한 엔드‑투‑엔드 솔루션을 제시한다.