스파이킹 뉴런의 리셋 제거와 동적 감쇠를 통한 초고속 병렬 학습

초록

**
본 논문은 스파이킹 뉴런의 핵심 메커니즘인 리셋(reset)을 제거하고, 이를 대체할 동적 감쇠(dynamic decay) 구조를 제안한다. 제안된 동적 감쇠 스파이킹 뉴런은 리셋이 제공하던 비선형성 및 전위 제어 기능을 보다 유연하게 구현하면서, 시계열 순차 연산에서는 기존과 동일한 직렬 추론(serial inference) 능력을 유지한다. 실험 결과, 16k 길이 시퀀스에서 기존 병렬 스파이킹 뉴런 대비 25.6배 빠른 학습 속도를 달성하고, 2k 길이 데이터로 학습한 모델이 30k 길이까지 안정적으로 추론한다. 또한 이미지 분류, 이벤트 기반 비전, 시계열 예측, 언어 모델링, 강화학습 등 다섯 분야와 CNN, Transformer, SSM 등 세 가지 아키텍처에서 일관된 성능 향상을 보이며, 스파이크 발생량 감소를 통한 에너지 효율성도 입증한다.

**

상세 분석

**
본 연구는 스파이킹 뉴런(SNN)에서 가장 큰 병목인 “리셋(reset)” 메커니즘을 기능적 관점에서 재해석한다. 기존 LIF(Leaky Integrate‑and‑Fire) 모델은 입력을 누적한 후 전위가 임계값을 초과하면 스파이크를 발생시키고, 그 순간 전위를 하드(0) 혹은 소프트(임계값 차감) 방식으로 초기화한다. 이 과정은 두 가지 핵심 기능을 수행한다. 첫째, 전위와 입력 사이에 비선형 관계를 삽입해 시계열 데이터에 대한 표현력을 높인다. 둘째, 전위가 과도하게 누적되는 것을 방지해 무한 스파이크 발생이나 전위 폭발을 억제한다(Δ‑short control 및 long control). 그러나 리셋은 시간 차원에서의 의존성을 강제하여 역전파 시 전체 시퀀스를 순차적으로 처리해야 하는 병목을 만든다.

논문은 “병렬 학습(parallel training)과 직렬 추론(serial inference)을 동시에 만족하는 조건”을 수학적으로 정의한다. 핵심은 출력이 과거 입력에만 의존하도록 설계하면서, 각 타임스텝의 연산이 독립적으로 수행될 수 있게 하는 인과적(causal) 컨볼루션 구조를 도입하는 것이다. 이를 만족하려면, 리셋이 제공하던 비선형성 및 전위 제어를 다른 연산으로 대체해야 한다.

제안된 Dynamic Decay Spiking Neuron (DDSN) 은 다음과 같은 설계 원리를 따른다.

1. 동적 감쇠 계수를 입력‑의존적으로 학습한다. 기존 고정 β 대신, 현재 입력 Xₜ에 따라 βₜ = σ(W·Xₜ + b) 형태의 가변 감쇠를 적용해 전위 누적 속도를 조절한다. 이는 입력 크기에 따라 전위가 빠르게 소멸하거나 오래 유지될 수 있게 하여, Δ‑short control을 부드럽게 구현한다.
2. 인과적 컨볼루션을 이용해 과거 입력들의 가중합을 한 번에 계산한다. 구체적으로, Hₜ = Σ_{k=0}^{K-1} α_k·X_{t−k} 형태의 1‑D 컨볼루션을 적용하고, α_k는 학습 가능한 파라미터이다. 이렇게 하면 시퀀스 전체를 한 번에 전파할 수 있어 GPU 병렬화가 가능해진다.
3. 스파이크 발생 함수를 기존의 Heaviside Θ 대신, 연속적인 시그모이드/스위시와 같은 부드러운 근사 함수를 사용하면서도, 역전파 시에는 스파이크를 0/1 이진값으로 강제한다(서베이게이트 방식). 이는 비선형성을 유지하면서도 미분 가능성을 확보한다.

이 설계는 리셋이 제공하던 두 기능을 보다 풍부하고 연속적인 형태로 구현한다. 동적 감쇠는 입력에 따라 전위의 “기억 지속 시간”을 조절해 Δ‑short control을 가변적으로 적용하고, 인과적 컨볼루션은 전위가 일정 범위를 초과하지 않도록 자연스럽게 정규화한다(즉, long control). 결과적으로, DDSN은 병렬 학습이 가능하면서도 테스트 시에는 기존 LIF와 동일하게 타임스텝별로 순차적으로 전위를 업데이트할 수 있다.

실험에서는 5가지 작업군(이미지 분류, 이벤트 기반 비전, 시계열 예측, 언어 모델링, 강화학습)과 3가지 네트워크 아키텍처(CNN, Transformer, SSM)를 대상으로 광범위한 벤치마크를 수행했다. 주요 결과는 다음과 같다.

• 학습 효율: 16k 길이 시퀀스에서 기존 PSN(Parallel Spiking Neuron) 대비 25.6배 빠른 학습 속도. 이는 인과적 컨볼루션을 GPU에서 완전 병렬화한 덕분이다.
• 외삽 능력: 2k 길이 데이터로 학습한 모델이 30k 길이까지 안정적으로 추론, 이는 동적 감쇠가 전위 폭발을 방지하고 장기 의존성을 유지하는 데 기여한다.
• 일관된 성능: 모든 작업군에서 기존 LIF와 PSN 대비 동일하거나 약간 높은 정확도/보상률을 기록했으며, 특히 언어 모델링과 강화학습에서 장기 시퀀스 처리 능력이 크게 향상되었다.
• 에너지 효율: 스파이크 발생 빈도가 기존 LIF와 PSN보다 15~30% 감소, 이는 하드웨어 구현 시 전력 소모 감소로 직결된다.

또한, 논문은 리셋 제거가 반드시 성능 저하를 의미하지 않는다는 점을 실험적으로 입증한다. 동적 감쇠와 인과적 컨볼루션이 리셋의 비선형성 및 전위 제어 기능을 더 유연하게 대체함으로써, 대규모 SNN을 GPU 기반으로 효율적으로 학습시키는 새로운 패러다임을 제시한다.

**