스파이킹 네트워크 기반 관계 추론과 뉴로모픽 역전파 학습

초록

본 논문은 이벤트 기반 스파이킹 뉴런을 이용해 다중 변수 간 관계를 추론하는 심층 네트워크를 제안한다. 오류 기울기를 스파이크 형태로 전파하는 대칭 시냅스를 활용한 뉴로모픽 백프로파게이션 알고리즘을 설계했으며, 이를 산술 관계와 MNIST 기반 시각적 XOR 과제에 적용해 기존 생물학적 학습 방식보다 적은 뉴런으로 높은 정확도를 달성하였다. 온칩 학습이 가능하도록 부동소수점 연산을 배제하고 누적·비교 연산만으로 구현한 점이 특징이다.

상세 분석

이 논문은 스파이킹 신경망을 관계 추론에 적용하기 위해 두 가지 핵심 기술을 결합한다. 첫 번째는 단순 적분‑발화(Integrate‑and‑Fire, IF) 뉴런 모델을 기반으로, 양·음 스파이크를 모두 허용해 입력 순서에 의한 비선형성을 최소화하고, 누적 전압 V와 트레이스 x를 이용해 ReLU와 유사한 선형 근사 활성화를 구현한다. 특히, 음 스파이크를 허용함으로써 과잉 입력을 상쇄할 수 있어 출력 전압이 입력 총합에 비례하도록 설계하였다. 두 번째는 역전파 단계에서 오류 신호를 스파이크 형태로 이산화하는 ‘동적 오류 삼진화’(dynamic error ternarization) 기법이다. 오류 전압 U와 임계값 Θ_bp를 도입해 오류를 누적하고, 임계치를 초과하면 ±1의 오류 스파이크 z를 발생시킨다. 이 스파이크는 서러게이트 미분 a⁰(t)와 곱해져 실제 전파되는 오류 δ(t)=z·a⁰가 된다. 서러게이트 미분은 V>0 혹은 x>0인 경우 1, 그 외 0으로 정의돼 ReLU의 미분을 근사한다. 가중치 업데이트는 δ와 전방 트레이스 x의 부호에 따라 ±x 혹은 0을 더하는 단순 규칙(Δw)으로 수행되며, 이는 부동소수점 곱셈 없이 덧셈·비교만으로 구현 가능하다.

학습 과정은 전방 전파와 역방향 전파가 동일한 하드웨어 인프라(이진 스파이크 전송) 위에서 대칭적으로 진행된다는 점에서 하드웨어 친화적이다. 오류를 스파이크 수와 전파 시간에 비례해 정밀하게 표현할 수 있어, 더 많은 스파이크를 사용하면 정밀도가 향상된다. 또한, 손실 함수는 출력 뉴런의 누적 활동(y = x_L + V_L)과 목표 스파이크 패턴(t) 사이의 L2 손실을 사용해, 오류를 직접 U에 주입함으로써 곱셈 없이도 기울기를 계산한다.

네트워크 구조는 관계 추론을 위한 기본 블록으로, 입력‑출력(IO) 집단, 주변 집단, 숨겨진 집단(H)으로 구성된다. n개의 변수 관계를 모델링하려면 n+1개의 집단을 연결하고, 각 IO 집단은 입력 또는 재구성 역할을 교대로 수행한다. 학습 단계에서는 두 집단이 입력을 제공하고, 나머지 한 집단이 목표 패턴을 재생성하도록 훈련한다. 이렇게 하면 모든 변수에 대해 양방향 추론이 가능해진다.

실험에서는 (1) 산술 관계(예: a+b=c)와 (2) MNIST 이미지 기반 XOR 과제를 수행했다. 기존 STDP 기반 관계 네트워크와 비교했을 때, 제안된 뉴로모픽 백프로파게이션은 동일하거나 더 적은 뉴런 수로 높은 정확도를 달성했으며, 특히 시각적 XOR에서 92% 이상의 성공률을 기록했다. 이는 오류 스파이크 전파와 서러게이트 미분을 통한 효율적인 기울기 전달이 복잡한 비선형 관계 학습에 충분히 강력함을 증명한다.

마지막으로, 이 접근법은 디지털 뉴로모픽 칩(예: Loihi, TrueNorth)이나 아날로그 스파이킹 회로에 직접 매핑 가능하도록 설계되었다. 연산이 전부 정수형 누적·비교이므로 전력 소모가 낮고, 온칩 학습을 통한 실시간 센서 퓨전 및 자율 에이전트에 적용하기에 적합하다.