생물학적 실현 가능성 갖춘 스파이킹 신경망의 연속시간 시퀀스 학습

초록

본 논문은 연속시간 스파이킹 신경망 모델인 McCulloch‑Pitts Network(MPN)를 제안하고, 국소적인 STDP‑일관 학습 규칙을 통해 이진 시퀀스와 스파이킹 데이터의 장기 저장 및 생성 능력을 입증한다. 비대칭 연결을 활용해 Hopfield 네트워크의 정적 기억을 확장하고, 온도와 리프랙터리 기간의 확률적 모델링을 통해 시퀀스 완성과 샘플링을 동시에 수행한다.

상세 분석

본 연구는 1943년 McCulloch‑Pitts 모델을 연속시간 확률 과정으로 일반화한 McCulloch‑Pitts Network(MPN)를 정의한다. 그래프 G = (V,E) 위의 각 정점 i 는 0(armed) 혹은 1(refractory) 상태를 갖는 이진 유닛이며, 상태 전이율 λ_i는
λ_i = exp(σ_i z_i / τ)
으로 정의된다. 여기서 σ_i = 1 − 2x_i는 현재 상태에 따라 부호를 바꾸고, z_i = ∑{j→i} w{ji} x_j + b_i는 ‘무부호 활동’으로 해석된다. λ_i는 지수분포의 파라미터가 되며, 이는 리프랙터리 기간이 확률적으로 변한다는 가정을 반영한다. 온도 τ 는 전이 빈도를 조절하는 물리적 온도와 유사하게 작용한다; τ→0이면 결정론적 동역학으로 수렴하고, τ가 클수록 잡음이 크게 된다.

학습은 로그 조건부 가능도 L_D(θ)의 최대화를 목표로 하며, 전이 항 T_n(θ)와 보유 항 H_n(θ)으로 분해된다.
T_n(θ) = ∑i δ_i^{(n)} z_i^{(n)} / τ, H_n(θ) = −(t{n+1} − t_n) ∑i λ_i^{(n)}.
여기서 δ_i^{(n)} = x_i^{(n+1)} − x_i^{(n)}는 비트 플립을 나타낸다. 미분 결과는
∂T_n/∂w{jk} = x_j^{(n)} δ_k^{(n)} / τ, ∂H_n/∂w_{jk} = −x_j^{(n)} σ_k^{(n)} λ_k^{(n)} (t_{n+1}−t_n) / τ,
등으로, 시냅스 가중치 업데이트가 프리-시냅스 상태 x_j, 포스트시냅스 전이 δ_k, 포스트시냅스 전이율 λ_k에만 의존한다는 점에서 완전한 국소성을 보인다. 이는 생물학적 시냅스가 접근 가능한 정보만을 이용한다는 STDP 가설과 일치한다.

STDP와의 정량적 일치는 정리 0.1을 통해 증명된다. 두 뉴런 i와 j를 고려했을 때, 프리-시냅스와 포스트시냅스 스파이크 간 시간 차 ε가 양(프리→포스트)일 경우 기대 가중치 변화는
E