스파이킹 신경망의 잡음과 견고성

초록

본 논문은 아날로그 소자 기반 시냅스의 비정밀성이 스파이킹 신경망에 미치는 영향을 분석한다. 적분‑발화(Integrate‑and‑Fire) 뉴런 모델에 누설 및 채널 잡음을 도입해 수학적으로 탐구하고, 잡음이 오히려 시냅스 오차에 대한 내성을 향상시킴을 보인다. 실험적으로 잡음이 포함된 네트워크와 없는 네트워크를 비교 학습시킨 결과, 잡음이 있는 경우가 더 높은 견고성을 보였으며, 최종적으로 HfO₂ 기반 RRAM을 이용한 비정밀 시냅스에서도 성능 저하가 최소화됨을 확인하였다.

상세 분석

본 연구는 먼저 전통적인 적분‑발화(Integrate‑and‑Fire, IF) 뉴런을 수학적으로 모델링하고, 실제 하드웨어 구현 시 발생할 수 있는 두 가지 비이상성, 즉 누설 전류(leakage)와 채널 잡음(channel noise)을 명시적으로 포함시켰다. 누설은 막전위가 일정 시간 동안 자연스럽게 감소하도록 하는 항으로, 미분 방정식에 -g_L·V 형태로 삽입되었다. 채널 잡음은 가우시안 백색 잡음 ξ(t)·σ로 모델링되어, 전압 변동에 확률적 요인을 부여한다. 이러한 모델을 바탕으로 시냅스 가중치 w_i가 실제 구현에서는 HfO₂‑RRAM과 같은 저항성 메모리 소자에 의해 양자화 및 변동성을 갖는 경우, 뉴런의 발화 시점 t_spike이 어떻게 변동되는지를 분석하였다. 핵심 결과는 잡음이 존재할 때, 발화 임계값에 도달하기 위한 누적 전류가 확률적 분포를 갖게 되며, 이는 개별 시냅스 가중치 오차가 평균적으로 상쇄되는 효과를 만든다는 것이다. 즉, 잡음이 큰 경우에는 가중치가 과소·과대 평가되는 경우가 서로 보완되어 전체 네트워크의 출력 변동성이 감소한다. 이를 정량적으로 확인하기 위해 Fisher 정보와 신호‑대‑잡음 비(SNR)를 계산했으며, 잡음이 일정 수준을 초과하면 SNR이 오히려 향상되는 구간이 존재함을 보였다. 또한, 누설 전류가 존재하면 뉴런이 과도하게 발화하는 것을 방지하고, 시간 창(window) 내에 입력 신호를 평균화하는 역할을 수행해, 비정밀 가중치에 대한 민감도를 추가로 낮춘다. 이러한 이론적 분석은 이후 시뮬레이션 및 실제 하드웨어 실험에서 검증되었다.