스파이킹 신경망 구조 탐색: 하드웨어·소프트웨어 공동 설계 관점에서의 종합 조사

초록

본 설문은 스파이킹 신경망(SNN) 구조 탐색(SNNaS)의 최신 연구를 하드웨어·소프트웨어 공동 설계 관점에서 정리한다. SNN의 시간‑스파이크 특성, 뉴런 모델, 인코딩 방식, 학습 방법을 소개하고, ANN 분야의 NAS 기법을 SNN에 적용할 때 발생하는 제약을 분석한다. 검색 공간 설계, 탐색 알고리즘, 가속 전략, 다목표 최적화 등 핵심 기술을 정리한 뒤, 향후 베이지안 최적화, 서러게이트 그래디언트, 하이브리드 방법 등 연구 방향을 제시한다.

상세 분석

본 논문은 스파이킹 신경망(SNN)이 제공하는 에너지 효율성과 실시간 처리 능력이 엣지·IoT 환경에 적합함을 강조하면서, 이러한 장점을 최대화하기 위한 구조 탐색(NAS) 연구의 필요성을 설득력 있게 제시한다. 먼저 SNN의 핵심 요소인 뉴런 모델(LIF, Hodgkin‑Huxley, Izhikevich)과 스파이크 인코딩(레이트, 시간‑첫‑스파이크, 위상, 버스트, 시공간) 사이의 트레이드오프를 상세히 분석한다. 모델 복잡도와 하드웨어 구현 비용이 검색 공간의 차원성을 크게 증가시켜, 기존 ANN‑중심 NAS가 바로 적용되기 어려운 구조적 장벽을 만든다.

학습 측면에서는 비미분성 스파이크 함수로 인한 역전파 적용 어려움을 서러게이트 그래디언트, ANN‑to‑SNN 변환, STDP, 진화 최적화(EO) 등 네 가지 주요 접근법으로 구분한다. 서러게이트 그래디언트는 정확도와 지연 사이의 균형을 맞추지만, 하드웨어에서의 스파이크 희소성 및 정밀도 제한을 고려해야 한다는 점을 지적한다. ANN‑to‑SNN 변환은 설계 비용을 크게 낮추지만, 정적 데이터셋에 최적화된 ANN 특성이 시간‑다이나믹스를 충분히 활용하지 못해 성능 저하 위험이 있다. STDP는 비지도 학습에 강점이 있으나 깊은 네트워크에서는 신호 전파가 약해 성능이 제한된다. EO는 그래디언트에 의존하지 않아 비미분성 문제를 회피하지만, 탐색 비용이 폭증한다는 단점이 있다.

논문은 SNNaS의 핵심 파이프라인을 ‘검색 공간 → 탐색 전략 → 평가’의 3단계로 정리하고, 각 단계에서 하드웨어 제약을 어떻게 반영할 수 있는지 구체적인 사례를 제시한다. 검색 공간 설계에서는 레이어 구성, 뉴런 모델, 시계열 파라미터 등을 포함한 셀‑기반 DAG, 계층적 구조, 생물학적 모티프 등 SNN 특화 표현이 필요함을 강조한다. 탐색 전략으로는 진화 알고리즘, 강화 학습, 그래디언트 기반 방법, 베이지안 최적화가 논의되며, 특히 다목표 최적화가 에너지, 지연, 메모리, 스파이크 희소성 등을 동시에 고려해야 함을 강조한다. 평가 단계에서는 정확도 외에도 지연, 에너지, 하드웨어 자원 사용량을 정량화하는 ‘제로‑샷’ 메트릭, 서러게이트 모델, 원‑샷 슈퍼넷 등이 제시되어 탐색 비용을 수십 배 절감할 수 있음을 보여준다.

특히 하드웨어·소프트웨어 공동 설계의 중요성을 ‘옵션이 아닌 필수’로 규정하고, 설계 초기 단계부터 뉴런 동역학과 하드웨어 제한(예: 뉴런·시냅스 수, 가중치 해상도, 통신 대역폭)을 통합 모델링해야 한다고 주장한다. 이를 통해 공동 탐색(co‑exploration) 프레임워크가 순차적 최적화보다 에너지‑지연 곱(EDP) 측면에서 우수함을 실험적으로 입증한다.

마지막으로 향후 연구 과제로 서러게이트 그래디언트의 효율적 설계, 베이지안 NAS와 진화 전략의 하이브리드, 하드웨어‑인-더‑루프(HIL) 평가 파이프라인 구축, 시공간 인코딩을 활용한 새로운 검색 공간 정의 등을 제시한다. 전체적으로 본 설문은 SNN‑NAS가 아직 초기 단계에 머물러 있지만, 하드웨어 친화적 검색 공간과 다목표 최적화, 훈련‑프리 평가 기법을 결합하면 실용적인 저전력 AI 솔루션을 빠르게 도출할 수 있음을 설득력 있게 제시한다.