격자형 지도 스파이킹 신경망을 이용한 이미지 군집 및 분류

본 논문은 격자 구조를 갖는 스파이킹 신경망(LM‑SNN)을 제안한다. STDP 기반의 무지도 학습으로 뉴런이 자기 조직화된 필터 격자를 형성하고, 억제 강도를 거리와 시간에 따라 조절하는 두 가지 전략을 도입한다. 학습된 네트워크는 MNIST와 Atari Breakout 이미지에 대해 군집화와 라벨링을 수행해 경쟁 모델보다 높은 정확도를 달성한다.

저자: Hananel Hazan, Daniel J. Saunders, Darpan T. Sanghavi

격자형 지도 스파이킹 신경망을 이용한 이미지 군집 및 분류
본 논문은 스파이킹 신경망(SNN)과 자기 조직화 지도(SOM)의 장점을 결합한 새로운 아키텍처인 격자형 지도 스파이킹 신경망(Lattice Map Spiking Neural Networks, LM‑SNN)을 제안한다. 기존의 Diehl‑Cook 모델은 입력층과 흥분‑억제 2층 구조로, 모든 흥분 뉴런이 동일한 억제 강도로 서로를 억제하는 전형적인 winner‑take‑all 메커니즘을 사용한다. 이러한 설계는 빠른 필터 학습을 가능하게 하지만, 뉴런 간의 공간적 연관성을 반영하지 못해 군집 형성이 제한적이다. LM‑SNN은 이러한 한계를 극복하기 위해 흥분층 뉴런을 2차원 격자에 배치하고, 억제 연결을 뉴런 간 거리의 제곱근에 비례하도록 설계한다. 구체적으로 억제 강도는 inhib_{i,j}=c_{inhib}·√((x_i−x_j)²+(y_i−y_j)²) 이며, 최대 억제값 c_max를 초과하면 c_max로 고정한다. 이 거리 기반 억제는 SOM의 이웃 협력 원리를 스파이킹 네트워크에 도입한 것으로, 인접한 뉴런이 동일 입력에 대해 동시에 발화할 가능성을 높여 필터가 공간적으로 연속된 형태로 조직된다. 억제 강도의 시간적 변화를 두 가지 전략으로 실험한다. 첫 번째는 학습 진행에 따라 c_{inhib}을 선형적으로 증가시키는 ‘점진 억제(incremental inhibition)’이며, 초기에는 낮은 억제로 다수의 뉴런이 동시에 학습하도록 하고, 후반에는 억제를 강화해 군집을 정교화한다. 두 번째는 초기 학습 구간(p_low)에서는 억제 강도를 최소값 c_min으로 고정하고, 이후 구간(p_grow)에서 c_min에서 c_max까지 선형적으로 증가시키는 ‘두 단계 억제(two‑level inhibition)’이다. 두 전략 모두 초기 빠른 필터 확보와 후반 군집 정제 사이의 트레이드오프를 효과적으로 조절한다. 학습 메커니즘은 온라인 STDP 규칙을 사용한다. 입력 이미지의 각 픽셀은 강도에 비례한 포아송 스파이크 트레인으로 변환되며, 입력‑흥분 시냅스에 대해 STDP가 적용된다. 흥분 뉴런이 발화하면 대응 억제 뉴런이 활성화되고, 억제 뉴런은 자신이 연결되지 않은 모든 흥분 뉴런에 억제 시냅스를 전송한다. 이때 억제 강도는 위에서 정의한 거리 기반 함수를 따라 결정된다. 결과적으로 한 뉴런이 발화하면 완전한 억제가 아니라 인접 뉴런은 약하게 억제되어 동시에 발화할 수 있다. 이는 전통적인 WTA 회로보다 부드러운 경쟁을 제공하며, 군집 내 다중 뉴런이 유사한 필터를 학습하도록 만든다. 실험은 두 데이터셋을 사용한다. 첫 번째는 손글씨 숫자 이미지인 MNIST(28×28)이며, 두 번째는 Atari Breakout 게임에서 추출한 프레임 이미지이다. 구현은 Python 기반 BindsNET 시뮬레이터를 사용했으며, 기존 BRIAN 기반 구현과 결과를 일치시킨 뒤 새로운 억제 전략을 적용했다. 라벨링 단계에서는 학습 단계에서 기록된 스파이크 패턴을 기반으로 각 뉴런에 클래스를 할당한다. 라벨 할당 방법으로는 (1) 전체 뉴런 집단의 신뢰도(population‑level confidence)와 (2) n‑gram 영감을 받은 시퀀스 기반 투표가 제안되었다. 두 방법 모두 라벨링 정확도를 향상시켰으며, 특히 두 단계 억제 전략이 가장 높은 테스트 정확도(약 98%)를 기록했다. 성능 비교에서는 기존 Diehl‑Cook 모델(무거리 억제)과 SOM‑기반 클러스터링, 그리고 최신 SNN‑SOM 하이브리드 모델과 비교하였다. LM‑SNN은 동일한 뉴런 수에서 더 빠른 수렴 속도와 높은 군집 품질을 보였으며, 특히 억제 강도를 동적으로 조절함으로써 학습 초기에 필터 다양성을 확보하고, 후반에 군집을 정교화하는 효과를 입증했다. 에너지 효율성 측면에서는, 전통적인 딥러닝(DNN)이 필요로 하는 대규모 전방‑역방 전파와 메모리 캐시 사용을 피하고, 스파이킹 뉴런의 비동기적 업데이트와 로컬 학습 규칙(STDP)만으로 학습이 이루어지기 때문에 연산량과 메모리 요구량이 크게 감소한다. 또한, 네트워크는 입력 데이터의 크기나 분포를 사전에 알 필요 없이 ‘온‑더‑플라이’ 학습이 가능하므로, 실시간 로봇 비전, 임베디드 디바이스, 저전력 엣지 컴퓨팅 등에 적용 가능성이 높다. 결론적으로, LM‑SNN은 거리 기반 억제와 동적 억제 스케줄링을 통해 스파이킹 신경망에 SOM‑유사한 자기 조직화 특성을 부여하고, 무지도 학습만으로도 경쟁력 있는 이미지 분류 성능을 달성한다. 이는 기존 SNN‑SOM 하이브리드 연구에 중요한 진전을 제공하며, 에너지 효율적인 신경형 컴퓨팅 시스템 설계에 새로운 방향을 제시한다.

원본 논문

고화질 논문을 불러오는 중입니다...

댓글 및 학술 토론

Loading comments...

의견 남기기