고병렬 인셉션형 스파이킹 신경망을 이용한 비지도 특징 학습

초록

본 논문은 STDP 기반 비지도 학습 SNN에 인셉션 모듈을 차용한 고병렬 구조를 도입하고, 정보 손실을 최소화하는 Vote‑for‑All 디코딩 레이어와 스파이킹 활동을 촉진하는 적응형 재극화 메커니즘을 제안한다. MNIST와 EMNIST 데이터셋에서 기존 FC·LC 구조 대비 학습 속도·정확도·내구성이 크게 향상된 결과를 보였다.

상세 분석

이 연구는 스파이킹 신경망(SNN)의 두 가지 근본적인 한계, 즉 학습 효율성과 디코딩 손실을 동시에 해결하려는 시도로 평가할 수 있다. 첫 번째 기여는 인셉션 모듈에서 영감을 얻은 고병렬 멀티패스 구조이다. 입력을 3×3, 5×5, 7×7 등 다양한 크기의 필터와 풀링 경로로 분할한 뒤, 각 경로를 다시 여러 개의 독립 서브네트워크로 나누어 경쟁 학습을 수행한다. 이렇게 하면 서로 다른 스케일의 특징이 동시에 학습되며, 각 서브네트워크는 독립적으로 가중치를 업데이트하므로 전체 학습 시간이 크게 단축된다. 특히 기존 Fully‑Connected(FC)와 Locally‑Connected(LC) 구조는 단일 경로에 의존해 학습 속도가 수십만 이터레이션에 달했지만, 제안된 인셉션‑유사 구조는 수백 이터레이션만에 95.64 % (MNIST)와 80.11 % (EMNIST)의 정확도를 달성했다.

두 번째 기여는 Vote‑for‑All(VFA) 디코딩 레이어이다. 기존의 Vote‑for‑One(VFO) 방식은 출력 뉴런이 하나의 클래스에만 매핑된다고 가정해, 지역 수용 필드가 겹치는 경우 정보가 손실된다. 저자들은 각 출력 뉴런이 모든 클래스와 연결되는 VFA 관계를 구축함으로써, 동일한 로컬 특징을 공유하는 여러 클래스에 대한 응답을 동시에 고려한다. 실험 결과, VFA는 특히 LC 및 인셉션 구조에서 디코딩 정확도를 1~2 % 정도 향상시켰으며, 클래스 간 경계가 모호한 손글씨 데이터에서 강인성을 보였다.

세 번째 기여는 적응형 재극화(Adaptive Repolarization) 메커니즘이다. STDP는 스파이크가 발생할 때만 가중치가 업데이트되므로, 스파이킹 빈도가 낮으면 학습이 지연된다. 저자들은 뉴런의 발화 후 전압을 일정 비율로 상승시키는 동적 재극화 방식을 도입해, 뉴런이 더 자주 스파이크하도록 유도했다. 이 메커니즘은 전체 네트워크의 평균 스파이킹 비율을 15~20 % 증가시켰으며, 결과적으로 학습 속도가 더욱 가속화되었다.

실험에서는 MNIST와 EMNIST 두 벤치마크를 사용해 학습 효율, 정확도, 하드웨어 손상에 대한 내구성을 평가했다. 동일한 학습 이터레이션(100 ~ 200)에서 FC‑SNN은 90 % 이하, LC‑SNN은 94 % 수준에 머물렀지만, 제안 모델은 95.64 %와 80.11 %를 기록했다. 또한, 무작위로 30 % 이상의 시냅스 혹은 뉴런을 파괴해도 정확도 감소폭이 1 % 미만에 그쳐, 하드웨어 결함에 대한 강인성을 입증했다.

이 논문의 의의는 기존 STDP‑SNN이 갖던 구조적·알고리즘적 제약을 인셉션‑형 병렬화, VFA 디코딩, 적응형 재극화라는 세 축으로 동시에 해소했다는 점이다. 특히, 스파이킹 하드웨어(예: Neuromorphic ASIC, FPGA) 구현 시 병렬 서브네트워크를 물리적으로 분산 배치함으로써 전력·면적 효율을 극대화할 수 있다는 실용적 시사점이 있다. 다만, 현재 실험은 2‑D 이미지 분류에 국한되어 있으며, 시계열 데이터나 복합 감각 입력에 대한 확장성은 추가 검증이 필요하다. 또한, VFA 디코딩은 출력 뉴런 수가 클래스 수와 동일하거나 그 이상일 때 효과적이며, 클래스 수가 매우 많은 경우 메모리·연산 비용이 급증할 수 있다. 향후 연구에서는 **동적 경로 선택(dynamic routing)**과 스파이크 기반 정규화를 결합해 메모리 효율을 개선하고, 비전 외의 도메인(음성, 로봇 제어)으로 일반화하는 방안을 모색할 필요가 있다.