동작 인식을 위한 스파이킹 비디오 주파수 최적화

초록

본 논문은 스파이킹 신경망(SNN)이 영상 처리에서 저주파 중심의 저통과 필터 특성 때문에 동작 정보를 충분히 활용하지 못한다는 ‘패스밴드 불일치’ 현상을 규명한다. 이를 해결하기 위해 두 개의 학습 가능한 파라미터만을 갖는 경량 전처리 모듈인 Pass‑Bands Optimizer(PBO)를 제안한다. PBO는 입력 프레임과 전 프레임 차이를 가중합해 시간‑주파수 응답을 동적으로 조정하고, 일관성 손실을 통해 저주파와 고주파 사이의 균형을 학습한다. UCF101을 포함한 여러 동작 인식 및 비정상 탐지 벤치마크에서 10% 이상 성능 향상을 달성했으며, 기존 SNN 구조를 그대로 유지하면서 연산 오버헤드가 거의 없다는 장점을 가진다.

상세 분석

본 연구는 스파이킹 신경망의 핵심 구성 요소인 Leaky Integrate‑and‑Fire(LIF) 뉴런이 시간 영역에서 일종의 1차 저통과 필터 역할을 수행한다는 점을 수학적으로 증명한다. LIF의 서브스레시홀드 단계에서는 전압 업데이트 식이 ˜V