시간 지연을 학습하는 3요인 온라인 규칙으로 구현한 저전력 스파이킹 신경망

초록

본 논문은 LIF 기반 전방향 및 순환 스파이킹 신경망에 시냅스·축삭 지연을 도입하고, 서지(eligibility) 트레이스와 상위 오류 신호를 결합한 3요인 학습 규칙을 제안한다. 가우시안 서지얼을 이용해 지연 파라미터의 미분을 근사함으로써 온라인으로 지연과 가중치를 동시에 최적화한다. 실험 결과, 지연 학습이 가중치 전용 모델 대비 정확도를 최대 20% 향상시키고, 파라미터 수가 동일한 경우 14%까지 성능 상승을 보인다. SHD 음성 인식에서 기존 오프라인 BPTT와 비슷한 정확도를 유지하면서 모델 크기를 6.6배, 지연 시간을 67% 감소시켰다.

상세 분석

이 연구는 스파이킹 신경망(SNN)의 시간적 표현력을 강화하기 위해 두 종류의 지연—시냅스 지연(D_in)과 축삭 지연(D_i)—을 명시적으로 모델링한다. LIF 뉴런의 이산화된 동역학식(5,6)에서 지연은 입력 스파이크 시퀀스와 재귀 연결에 정수 타임스텝 형태로 삽입되며, 최대 지연 D_max 로 제한된다. 핵심 기여는 3요인 학습 규칙(식 8)이다. 여기서 첫 번째 요인은 로컬 오류 신호 L_t^j = ∂E/∂z_t^j, 두 번째 요인은 서지 트레이스 e_t^{ji}=∂z_t^j/∂v_t’^j·∂v_t^j/∂v_{t-1}^j·ε_{t-1}^{ji}+∂v_t^j/∂D_{ji}, 세 번째 요인은 이 두 신호의 곱으로 파라미터 업데이트를 수행한다. 서지 트레이스는 기존 e‑prop에서 파생되었지만, 지연 파라미터에 대한 미분이 정의되지 않는 문제를 가우시안 커널(식 11)으로 근사함으로써 해결한다. 가우시안은 비인과성(causal) 특성을 갖지 않아 실시간 구현 시 링 버퍼가 필요하지만, 실험적으로는 지연 학습 안정성과 정확도 향상에 가장 적합했다.

학습 과정은 완전 온라인이며, 입력 시퀀스가 들어오는 즉시 서지와 오류 신호가 계산되어 가중치와 지연이 즉시 업데이트된다. 이는 BPTT와 달리 전체 시퀀스를 저장할 필요가 없어 메모리 복잡도가 O(n) 수준으로 감소한다. 또한, 지연 파라미터를 클램프하여 ±(D_max−½) 범위 내에 유지함으로써 물리적 구현 시 제한된 타이밍 해상도와 일치시켰다.

실험에서는 키워드 스포팅(KWS)과 스피치 인식(SHD, SSC) 두 도메인을 사용했다. 네트워크 구성은 128‑노드 완전 연결, 80% 희소, 16‑노드 소형 모델 등으로 다양화했으며, 동일 파라미터 수를 갖는 가중치‑전용 베이스라인(32/64 노드)과 비교했다. 결과는 지연을 포함한 SNN이 가중치‑전용 대비 평균 12~20% 정확도 향상을 보였으며, 가중치와 지연을 동시에 학습한 경우 파라미터 수가 비슷한 DCLS(BPTT 기반) 모델보다 14% 높은 정확도를 달성했다. 특히 SHD 데이터셋에서는 6.6배 작은 모델과 67% 짧은 추론 지연에도 불구하고 정확도 손실이 2.4%에 불과했다. 이는 저전력·저면적 Neuromorphic 프로세서에 온‑디바이스 학습을 구현할 수 있는 실용적 근거를 제공한다.

이 논문의 한계는 가우시안 서지의 비인과성으로 인한 구현 복잡성(링 버퍼 필요)과, 지연 파라미터가 정수 타임스텝으로 제한돼 연속적인 시간 정밀도에 제약이 있다는 점이다. 또한, 현재 실험은 주로 음성 데이터에 국한돼 있어 다른 시계열 도메인(예: 센서 데이터)에서의 일반화는 추가 검증이 필요하다. 향후 연구에서는 비인과성 서지를 대체할 인과적 근사, 하드웨어 친화적 커널, 그리고 다중 모드(시각·촉각) 데이터에 대한 확장을 기대한다.