총알열차: 정확한 시계열 스파이킹 신경망의 병렬 학습

본 논문은 연속시간 이벤트 기반 스파이킹 신경망(SNN)의 두 핵심 과제—‘충전‑발화‑리셋’ 순차성 및 스파이크 시각의 이산화 문제—를 동시에 해결하는 새로운 프레임워크를 제시한다. 저자는 현재 GPU와 같은 범용 하드웨어에서 SNN을 효율적으로 학습시키기 위해, 하드‑리셋 동역학을 그대로 유지하면서도 시간 차원을 병렬화하는 방법을 고안했다. 첫 번째 기여는 ‘연관 스캔(associative scan)’을 이용한 병렬 처리이다. LIF 뉴런의 서브‑쓰레시홀드 상태 전이식을 선형 변환(affine map) 형태로 표현하고, 이러한 변환들을 결합할 수 있는 연관 연산(Combine)을 정의한다. 입력 스파이크 시퀀스를 K개의 청크로 나누어 각 청크 내부에서 jax.lax.associative_scan을 적용하면, 연산 깊이가 O(log K)로 감소한다. 청크 경계에서는 경량 분석을 통해 해당 청크 내에서 뉴런이 스파이크를 발생시킬지 여부를 판단한다. 스파이크가 발생하면 그 시점까지의 연산을 버리고 다음 청크로 넘어가므로, 불필요한 연산을 최소화한다. 이 방식은 기존 연구가 하드‑리셋을 포기하거나 소프트‑리셋(선형 감쇄)으로 대체하던 것과 달리, 정확한 하드‑리셋을 유지하면서도 O(N) → O(log N) 속도 향상을 달성한다. 실험 결과, SHD 데이터셋을 포함한 네 개의 이벤트 기반 데이터셋에서 최대 44배의 가속을 기록했다. 두 번째 기여는 정확한 스파이크 시각을 구하기 위한 미분 가능 수치 솔버이다. 저자는 뉴턴‑랩슨과 이분법(Bisection) 두 가지 루트 찾기 알고리즘을 구현했으며, 이를 JAX의 자동 미분 체계에 통합했다. 뉴턴‑랩슨은 전압 최대 시점에서 초기값을 잡아 빠른 수렴을 보이고, 이분법은 구간 보장을 통해 안정성을 제공한다. 두 방법 모두 머신 정밀도의 스파이크 시각을 제공하며, 파라미터(가중치·지연)와 스파이크 시각 사이의 정확한 그래디언트를 계산한다. 이는 서러게이트 그래디언트(Discrete‑time) 방식이 갖는 시간‑스텝 의존성 및 스파이크 순서 손실을 근본적으로 해결한다. 구현 측면에서 저자는 JAX 기반의 이벤트‑드리븐 SNN을 설계했다. 핵심 아이디어는 “어떤 이벤트가 먼저 일어나는가”를 판단해 시뮬레이션을 해당 이벤트 시점으로 바로 전진시키는 것이다. 이렇게 하면 전체 네트워크 상태를 매 타임스텝마다 업데이트할 필요가 없어, 메모리와 연산량이 스파이크 수에 비례한다. 또한, 학습 단계에서는 정확한 그래디언트를 사용해 가중치와 지연을 직접 최적화한다. 관련 연구와 비교했을 때, 기존의 Parallel Spiking Neuron(PSN)이나 Parallel Spiking Unit(PSU) 등은 하드‑리셋을 없애거나 소프트‑리셋으로 대체해 비선형 표현력을 감소시켰다. Fixed‑point Parallel Training(FPT)은 연속 근사를 사용해 수렴성을 보장했지만, 여전히 서러게이트 그래디언트를 사용했다. 반면 본 논문의 방법은 하드‑리셋을 그대로 유지하고, 정확한 연속시간 그래디언트를 제공한다는 점에서 차별화된다. 실험에서는 Spiking Heidelberg Digits(SHD), N-MNIST, CIFAR‑10‑DVS 등 네 개의 이벤트 기반 데이터셋에 대해, 청크 크기와 스캔 깊이를 조절하면서 속도와 정확도를 평가했다. 44배 가속을 달성한 경우에도 테스트 정확도는 기존 하드‑리셋 기반 모델과 동등하거나 약간 향상되었으며, 스파이크 시각 오차는 이산화 방식에 비해 10⁻³ ~ 10⁻⁴ 수준으로 크게 감소했다. 결론적으로, 본 논문은 (1) 하드‑리셋을 보존한 연관 스캔 기반 시간 차원 병렬화, (2) 미분 가능 수치 스파이크‑시각 솔버, (3) JAX 기반 GPU 구현을 통한 실용적 가속이라는 세 축을 동시에 만족시킨 최초의 연구이다. 이는 생물학적 충실도와 하드웨어 효율성을 동시에 추구하는 차세대 이벤트‑네이티브 SNN 연구에 중요한 이정표가 될 것으로 기대된다.