이벤트 카메라와 STDP 기반 스파이킹 신경망을 활용한 UAV 탐지

초록

본 논문은 동적 비전 센서(DVS)의 이벤트 스트림을 이용해 무인항공기(UAV)를 탐지하고, 비지도 학습 방식인 스파이크 타임 의존 가소성(STDP)으로 훈련된 심층 컨볼루션 스파이킹 신경망(SCNN)을 적용한다. 실제 촬영 데이터와 시뮬레이션 데이터를 비교 분석하여 현재 기술의 한계와 향후 하드웨어·알고리즘 개선 방향을 제시한다.

상세 분석

본 연구는 DVS가 제공하는 고속 비동기 이벤트 흐름을 UAV 탐지에 직접 활용한다는 점에서 혁신적이다. DVS는 전통적인 프레임 기반 카메라와 달리 밝기 변화가 발생한 픽셀만을 비동기적으로 전송하므로, 고속 비행체의 미세 움직임을 손실 없이 포착할 수 있다. 이러한 특성은 특히 저조도·고대비 환경에서 유리하며, 데이터 양이 크게 감소해 실시간 처리에 적합하다. 논문은 먼저 이벤트 스트림을 2차원 시공간 히스토그램으로 변환한 뒤, 3‑layer 컨볼루션 스파이킹 신경망에 입력한다. 각 레이어는 LIF(Leaky Integrate‑and‑Fire) 뉴런으로 구성되고, 가중치는 STDP 규칙에 따라 비지도적으로 적응한다. 초기 가중치는 랜덤으로 설정되며, 양성(드론 이벤트)과 음성(배경 이벤트) 패턴을 동시에 학습함으로써 특징 맵을 자동으로 형성한다.

STDP 학습은 시간 차이에 기반해 시냅스 가중치를 강화·감쇠시키며, 이벤트 기반 입력의 시간적 연속성을 자연스럽게 활용한다. 논문은 시뮬레이션 환경에서 다양한 비행 속도·고도·조명 조건을 변조해 데이터셋을 구축하고, 실제 실험에서는 DJI Mavic 시리즈와 같은 상용 드론을 실내·실외에서 촬영한 DVS 데이터를 사용한다. 두 데이터셋 모두 동일한 전처리 파이프라인을 거쳐 네트워크에 공급되었으며, 결과는 정밀도·재현율·F1‑score로 평가된다.

실험 결과, 시뮬레이션 데이터에서는 96 % 이상의 정확도를 달성했으며, 실제 데이터에서는 88 % 수준으로 약간의 성능 저하가 관찰되었다. 이는 실제 센서의 잡음, 이벤트 누락, 그리고 배경 움직임(예: 나무 흔들림) 등이 STDP 기반 학습에 부정적 영향을 미쳤기 때문이다. 또한, 네트워크가 초기 학습 단계에서 과도한 가중치 강화로 인해 포화 현상이 발생, 일부 뉴런이 ‘죽는’ 현상이 보고되었다. 이러한 문제는 학습률 조절 및 가중치 정규화 기법을 통해 완화될 수 있다.

핵심적인 기술적 기여는 (1) DVS와 SCNN을 결합한 완전 비지도 탐지 파이프라인을 제시, (2) STDP를 이용한 컨볼루션 필터 자동 학습 메커니즘을 구현, (3) 시뮬레이션과 실제 데이터를 동시에 검증함으로써 현재 하드웨어·알고리즘의 한계를 명확히 드러낸 점이다. 향후 Neuromorphic ASIC(예: Loihi, TrueNorth)과의 연동을 통해 에너지 효율을 극대화하고, 하이브리드 학습(비지도 STDP + 지도식 미세조정)으로 정확도를 더욱 향상시킬 여지가 있다.