경량 스파이킹 신경망을 위한 효율적 구조 탐색 LightSNN

초록

LightSNN은 스파이킹 신경망(SNN) 전용의 경량 NAS 기법으로, 훈련‑무료 희소성 기반 Hamming 거리 평가와 중요도 기반 프루닝을 결합한다. CIFAR‑10/100에서 최첨단 정확도를 달성하고 DVS128‑Gesture에서 4.49% 향상시키며, 기존 SNASNet 대비 98배 빠른 탐색 속도를 보인다.

상세 분석

본 논문은 기존 SNN 설계가 ANN과 동일한 구조를 그대로 차용함으로써 발생하는 정확도·효율성 한계를 지적하고, 이를 극복하기 위한 NAS 프레임워크인 LightSNN을 제안한다. 핵심 아이디어는 두 단계로 구성된다. 첫 번째는 SNASNet에서 사용된 ‘희소성‑인식 Hamming 거리(SAHD)’를 그대로 활용하되, 초기 무학습 상태에서 각 아키텍처가 생성하는 이진 스파이크 패턴의 차이를 정량화하여 사후 학습 정확도를 예측한다는 점이다. SAHD는 모든 레이어의 바이너리 활성화 코드를 커널 행렬로 집계하고, 각 타임스텝의 행렬식 로그를 합산해 최종 점수를 산출한다. 이 점수가 클수록 다양한 입력에 대해 서로 다른 스파이크 패턴을 생성하므로, 학습 후 높은 분류 성능을 기대한다.

두 번째 단계는 ‘중요도 기반 프루닝(pruning‑by‑importance)’ 알고리즘을 도입해 탐색 복잡도를 크게 낮춘다. 초기에 모든 연산자(3×3 Conv, Skip, Zeroize 등)가 각 엣지에 배치된 슈퍼넷을 구성하고, 각 연산자를 하나씩 제거하면서 SAHD 점수 변화를 측정한다. 제거 후 SAHD가 가장 크게 감소(즉, 점수가 가장 크게 유지)되는 연산자를 선택해 삭제함으로써, 매 라운드마다 각 엣지당 하나씩 연산자를 감소시킨다. 이 과정을 싱글‑패스 네트워크가 될 때까지 반복하면 전체 탐색 공간(≈2.4×10⁸ 후보) 대비 O·E(≈60)번의 평가만으로 최적 구조를 찾을 수 있다.

LightSNN은 또한 검색 공간을 경량화한다. 평균 풀링 대신 최대 풀링을 채택해 스파이크의 이진 특성을 유지하면서 불필요한 스파이크 전파를 억제하고, 연산자 집합을 3가지(3×3 Conv, Skip, Zeroize)로 축소한다. 이러한 설계는 네트워크의 희소성을 자연스럽게 높여 에너지 효율성을 강화한다.

실험 결과는 CIFAR‑10/100에서 각각 94.2%·71.8%의 정확도를 기록해 기존 SNASNet(91.8%) 및 최신 SNN NAS 기법들을 능가한다. DVS128‑Gesture에서는 4.49%p 상승한 78.6%를 달성했으며, 탐색 시간은 SNASNet 대비 98배 가량 단축되었다(2시간 16분 vs 2시간 49분). 또한, 프루닝‑by‑importance가 랜덤 샘플링 대비 0.76%p 정확도 향상과 20% 빠른 탐색을 제공함을 표 1을 통해 입증한다.

한계점으로는 현재 탐색이 셀 기반 구조와 제한된 연산자 집합에 국한되어 있어, 보다 복잡한 토폴로지(예: 다중 스케일 피라미드, 비대칭 연결)에는 적용이 어려울 수 있다. 또한 SAHD가 초기 활성화 패턴에만 의존하므로, 학습 과정에서 발생하는 동적 스파이크 변화를 완전히 포착하지 못한다는 점도 언급된다. 향후 연구에서는 이러한 제약을 완화하고, 하드웨어 구현 시 실제 전력 절감 효과를 정량화하는 작업이 필요하다.