공간 기반 스파이킹 신경망으로 효율적이고 견고한 시간 연산 구현

초록

본 논문은 뉴런을 유한 차원의 유클리드 공간에 배치하고, 뉴런 간 거리로부터 통신 지연을 유도하는 Spatial Spiking Neural Networks(SpSNN)를 제안한다. 지연 파라미터를 개별 시냅스마다 학습하는 대신 뉴런 위치를 학습함으로써 파라미터 수를 크게 줄이고, 2D·3D 차원에서 기존 무제한 지연 SNN보다 높은 정확도를 달성한다. 또한 동적 희소화에도 강인하여 90 % 희소에서도 성능 저하가 없으며, 하드웨어 구현에 유리한 구조적 특성을 가진다.

상세 분석

SpSNN의 핵심 아이디어는 “지연 = 거리 / 전파속도”라는 생물학적 원리를 수학적으로 모델링한 것이다. 기존 SNN에서 각 시냅스마다 독립적인 지연 파라미터 d_ij를 학습하면 N²개의 추가 파라미터가 필요해 메모리와 연산 비용이 급증한다. 저자들은 뉴런 i와 j의 좌표 p_i, p_j∈ℝ^D를 학습 변수로 두고, d_ij = ‖p_i−p_j‖/v (v는 고정 전파속도) 로 정의함으로써 전체 지연 매트릭스를 D·N개의 좌표 파라미터로 압축한다. 이는 파라미터 차원을 크게 낮추면서도 거리 기반 지연이 제공하는 연속적인 제약을 통해 자연스러운 정규화 효과를 만든다.

학습 과정에서는 자동 미분(autodiff)과 맞춤형 스파이크 큐를 이용해 정확한 지연 그래디언트를 계산한다. 스파이크 발생 시점 t_pre, t_post 사이의 비연속성을 처리하기 위해 “spike‑induced update”에 대한 커스텀 그래디언트 규칙을 도입했으며, 이는 기존의 지연 학습 방식과 달리 미분 가능성을 유지한다. 따라서 LIF, Izhikevich 등 다양한 뉴런 모델과 feed‑forward, recurrent 구조에 그대로 적용할 수 있다.

실험에서는 두 가지 벤치마크, Yin‑Yang(YY)와 Spiking Heidelberg Digits(SHD)를 사용했다. YY는 단일 스파이크 타임‑투‑퍼스트‑스파이크(TTFS) 인코딩을 요구하는 3‑클래스 분류 문제이며, SHD는 음성 스파이크 시퀀스를 20‑클래스로 분류하는 복합 과제다. 각각 1‑layer feed‑forward와 recurrent 구조로 구현했으며, 뉴런 수와 차원(D=0,2,3,∞)을 변별 변수로 설정했다.

결과는 다음과 같다. 1) 파라미터 수가 크게 감소했음에도 불구하고 2D·3D SpSNN은 무제한 지연 SNN(∞‑dim)보다 높은 테스트 정확도를 기록했다. YY에서는 2D가 최고(98.1 %±0.1), SHD에서는 3D가 최고(83.6 %±0.9)였다. 2) 정확도와 파라미터 수의 관계를 보면, 동일 파라미터 규모에서 낮은 차원의 SpSNN이 더 좋은 일반화 성능을 보이며, 이는 “저차원 정규화”가 과적합을 억제하고 더 단순한 솔루션을 유도하기 때문이다. 3) 삼각 부등식 위반(비직선 연결) 실험을 통해 정규화 효과가 파라미터 감소에 기인함을 확인했다. 4) 동적 희소화 실험에서 90 %까지 가중치를 제거해도 정확도가 유지되어, 메모리와 연산 효율성을 크게 향상시킬 수 있음을 보여준다.

하드웨어 관점에서, 뉴런 좌표는 물리적 배치와 직접 매핑될 수 있어, neuromorphic 칩 상에서 라우팅 및 지연 관리가 단순화된다. 또한 파라미터 감소는 메모리 대역폭과 전력 소비를 낮추어 에너지 효율적인 구현을 가능하게 한다. 저자들은 자동 미분 기반의 정확한 지연 그래디언트 계산이 다양한 아키텍처와 뉴런 모델에 적용 가능함을 강조하며, SpSNN이 차세대 에너지 효율 AI와 신경과학 연구에 유용한 플랫폼이 될 것이라고 주장한다.