스파이크 디텍터: 발화 패턴 최적화로 정확하고 저전력 객체 탐지

초록

SpikeDet은 스파이킹 신경망의 지역 발화 포화 현상을 완화하기 위해 Membrane‑based Deformed Shortcut Residual Network(MDSNet)와 다방향 융합 모듈(SMFM)을 도입한다. 새롭게 정의한 Local Firing Saturation Index(LFSI)로 포화 정도를 정량화하고, COCO 2017 등에서 기존 SNN 기반 탐지기 대비 AP 3.3%p 상승과 전력 소모 50% 감소를 달성하였다.

상세 분석

본 논문은 스파이킹 신경망(SNN) 기반 객체 탐지에서 “지역 발화 포화(local firing saturation)”라는 새로운 병목 현상을 규명하고, 이를 해결하기 위한 구조적 혁신을 제시한다. 기존 SNN 탐지기들은 잔차 연결을 구현하기 위해 membrane‑based shortcut을 사용했지만, 저자들은 이 방식이 층을 거듭할수록 시냅스 입력의 분산을 증폭시켜 인접 뉴런이 동시에 최대 발화율에 도달하게 만든다고 이론적으로 분석한다. 이러한 포화는 특징 표현의 다양성을 감소시켜 분류에서의 confidence 집중을 방해하고, 회귀 단계에서는 중복된 바운딩 박스를 초래한다. 더불어 발화율이 높아지면 전력 소비가 급증한다는 실용적 문제도 동반한다.

문제 해결을 위해 제안된 MDSNet은 기존 shortcut 대신 “Membrane‑based Deformed Shortcut(MDS)”을 도입한다. MDS는 shortcut 경로에 정규화된 스케일 변환을 삽입해 출력 분포를 안정화하고, 각 층의 시냅스 입력 분산이 누적되는 현상을 억제한다. 결과적으로 뉴런들의 막 전위가 과도하게 상승하는 것을 방지해 지역 포화를 크게 감소시킨다. 또한, MDSNet은 5단계의 다중 스케일 구조를 유지하면서도 각 단계마다 MDS‑Block을 배치해 깊이와 폭을 동시에 확보한다.

Neck 부분에서는 “Spiking Multi‑direction Fusion Module(SMFM)”을 설계하였다. 기존 스파이킹 융합 방식은 일방향 혹은 제한된 경로만을 이용해 다중 스케일 특징을 결합했으나, SMFM은 상향·하향·횡방향으로 정보를 교환하는 다중 경로를 제공한다. 이를 통해 얕은 레이어의 세밀한 디테일이 깊은 레이어의 의미론적 정보와 반복적으로 정제되면서, 특징 간 상호작용이 강화되고 포화 현상이 추가적으로 완화된다.

정량적 평가를 위해 제안된 Local Firing Saturation Index(LFSI)는 각 뉴런 주변의 포화 뉴런 비율을 모든 레이어에 걸쳐 평균화한 지표이다. 실험 결과 LFSI가 기존 모델 대비 40% 이상 감소했으며, 이는 시각화된 발화 패턴에서도 명확히 확인된다.

성능 측면에서는 COCO 2017에서 52.2% AP를 달성해 기존 SNN 기반 탐지기(최고 48.9% AP)보다 3.3%p 상승했으며, 전력 소모는 동일 조건 하에서 약 0.5배 수준으로 크게 절감되었다. 또한, 이벤트 기반 GEN1, 수중 URPC 2019, 저조도 ExDARK, 밀집 장면 CrowdHuman 등 다양한 도메인에서도 최고 수준의 AP를 기록했다.

한계점으로는 MDS와 SMFM이 추가적인 연산 경로와 파라미터를 도입함으로써 모델 복잡도가 약간 증가했으며, 현재는 8‑bit 정밀도 이하의 하드웨어 구현에 대한 상세 평가가 부족하다는 점을 들 수 있다. 향후 연구에서는 ASIC/FPGA 기반 저전력 구현과 더 긴 시계열 이벤트 데이터에 대한 일반화 성능을 탐색할 필요가 있다.

전반적으로 본 논문은 SNN 기반 객체 탐지에서 핵심적인 발화 패턴 문제를 구조적으로 해결하고, 정확도와 에너지 효율성을 동시에 끌어올린 중요한 기여를 제공한다.