확률적 스파이킹 신경망: 모델·학습·응용 가이드

본 논문은 스파이킹 신경망(SNN)의 이론적 기반과 학습 방법론을 확률적 신호 처리 관점에서 체계적으로 정리한다. 서론에서는 ANN과 SNN의 차이점을 강조하며, 특히 SNN이 시간에 따라 발생하는 이산적인 스파이크 신호를 이용해 에너지 효율적인 연산을 수행할 수 있음을 설명한다. 기존의 결정론적 LIF(Leaky Integrate‑and‑Fire) 모델은 전압이 임계값을 초과하면 즉시 스파이크를 발생시키는 방식으로, 비연속성 때문에 미분 기반 학습이 어려웠다. 이를 극복하기 위해 논문은 확률적 모델, 즉 각 뉴런의 스파이크 발생을 이진 확률 변수로 보고, 전체 네트워크를 그래픽 모델로 표현한다. 모델 섹션에서는 이산 시간 GLM(Generalized Linear Model)을 상세히 소개한다. 각 뉴런 i는 시간 t에 막전위 uᵢ,ₜ를 갖고, 이는 전방 입력 sⱼ,≤t−1와 피드백 입력 sᵢ,≤t−1를 각각 커널 aₜ와 bₜ로 필터링한 후 가중치 wⱼ,ᵢ, wᵢ를 곱해 합산한 형태이다(uᵢ,ₜ = Σⱼ∈Pᵢ wⱼ,ᵢ·(a∗sⱼ)ₜ + wᵢ·(b∗sᵢ)ₜ + γᵢ). 커널은 지수 감쇠, 상승 코사인, STDP 형태 등 다양하게 설계 가능하며, 고정된 기저함수 집합에 대한 가중치 학습을 통해 시냅스 지연과 메모리 특성을 적응시킬 수 있다. 스파이크 발생 확률은 시그모이드 σ(uᵢ,ₜ) 로 정의되며, 이는 연속적이므로 파라미터 θ에 대한 미분이 가능하다. 학습 규칙 파트에서는 변분 추론을 기반으로 지도·비지도 학습을 유도한다. 지도 학습에서는 목표 스파이크 시퀀스 y≤T 를 주고, 로그우도 L(θ)=log pθ(s≤T|y≤T) 를 최대화한다. 변분 EM 알고리즘을 적용해 숨겨진 내부 상태(막전위 등)를 추정하고, 기대값 단계에서 현재 파라미터에 대한 스파이크 발생 확률을 계산한다. 그 후, M‑step에서 파라미터를 경사 상승법으로 업데이트한다. 비지도 학습에서는 데이터 자체의 통계에 맞추어 뮤추얼 정보 I(s;θ) 를 최대화하거나, 스파이크 패턴의 엔트로피를 최소화하는 규칙을 도출한다. 논문은 이러한 학습 규칙이 기존의 생물학적 플라스틱티(예: STDP)와 수학적으로 일치함을 보이며, 확률적 프레임워크가 더 일반적인 경우를 포괄한다는 점을 강조한다. 다음으로 SNN과 ANN의 관계를 논한다. 레이트 인코딩을 사용하면 긴 시간 T 동안 평균 스파이크율이 ANN의 활성화와 동일해지며, 결정론적 LIF 모델은 Δu→0 한계에서 확률적 GLM의 특수 케이스가 된다. 따라서 ANN을 SNN으로 변환하는 기존 방법은 본 확률적 모델의 근사 버전이라고 해석할 수 있다. 하드웨어 구현 측면에서는 디지털 스파이크 전송과 아날로그 내부 상태를 결합한 neuromorphic 칩(예: Intel Loihi, IBM TrueNorth)과의 호환성을 강조한다. 확률적 GLM은 이산 시간 연산만 필요하고, 필터링은 단순 합산으로 구현 가능하므로 부동소수점 연산을 최소화한다. 이는 스파이크당 에너지 소비를 피코줄 수준으로 낮추어, 모바일·임베디드 환경에서의 실시간 학습에 적합하다. 마지막으로 논문은 현재 남아 있는 연구 과제를 제시한다. 첫째, 대규모 재귀 토폴로지에서 변분 추론의 계산 복잡도를 낮추는 효율적인 근사 기법이 필요하다. 둘째, 온라인 학습을 위한 스케일러블 변분 알고리즘과 메모리 제한 환경에서의 파라미터 압축 기법이 요구된다. 셋째, 강화학습과의 통합을 통해 SNN이 환경과 상호작용하며 정책을 학습하는 프레임워크가 아직 충분히 정립되지 않았다. 이러한 과제들을 해결하면, 확률적 SNN이 에너지 효율성과 학습 능력을 동시에 갖춘 차세대 인공지능 플랫폼으로 자리매김할 전망이다.