다중스케일 시공간 특징과 스파이킹 뉴런을 이용한 비지도 AER 객체 인식

본 논문은 비동기식 주소 이벤트 표현(AER) 센서가 생성하는 고밀도 이벤트 스트림을 효과적으로 처리하고, 이를 기반으로 객체 인식을 수행하는 새로운 비지도 학습 프레임워크를 제시한다. 전체 파이프라인은 크게 세 단계로 구성된다. 첫 번째 단계인 이벤트 흐름 구간화에서는 Motion Symbol Detection(MSD) 모듈을 활용한다. MSD는 LIF(Leaky Integrate‑and‑Fire) 뉴런과 피크 검출 유닛으로 구성되며, 이벤트가 일정 시간 동안 집중적으로 발생하면 전위 피크가 형성된다. 이 피크를 기준으로 이벤트 큐에 저장된 이벤트들을 구간으로 나누어 다음 단계로 전달한다. 이 방식은 고정 시간 윈도우나 고정 이벤트 수 기반 구간화보다 장면 변화에 따라 유연하게 구간을 조정할 수 있다. 두 번째 단계는 Multiscale Spatio‑Temporal Feature(MuST) 추출이다. 구간화된 이벤트는 S1 계층으로 전달되며, 여기서는 Gabor 필터(스케일 s, 방향 θ)를 적용한 이벤트‑드리븐 컨볼루션이 수행된다. 각 이벤트는 해당 픽셀 위치에 매핑된 Gabor 필터와 곱해져 공간적인 특징을 강조하고, LIF 뉴런의 누설 메커니즘을 통해 시간 정보를 자연스럽게 누적한다. S1 뉴런의 응답은 강도와 타이밍을 동시에 포함한다. 이어서 C1 계층에서는 2×2 비중첩 영역에서 최대 응답을 풀링함으로써 위치·스케일 불변성을 확보한다. C1에서 얻어진 특징 강도는 로그형 시간 코딩을 통해 스파이크 발생 시점으로 변환된다; 강도가 클수록 스파이크가 더 이른 시점에 발생한다. 동일 위치·방향에 대해 여러 스케일의 C1 특징을 하나의 인코딩 뉴런에 결합해 다중스케일 스파이크 트레인을 만든다. 이렇게 생성된 MuST는 스파이크 형태이므로 바로 스파이킹 신경망(SNN)으로 입력될 수 있다. 세 번째 단계는 STDP 기반 비지도 학습이다. 인코딩 뉴런이 방출한 스파이크는 학습 뉴런(포스트시냅스)으로 전달되고, STDP(Spike‑Timing‑Dependent Plasticity) 규칙에 따라 시냅스 가중치가 조정된다. 프리‑시냅스 스파이크가 포스트시냅스 스파이크보다 먼저 도착하면 시냅스가 강화되고, 반대이면 약화된다. 또한 학습 뉴런 간 억제 연결을 도입해 경쟁적 학습을 유도함으로써 각 뉴런이 서로 다른 MuST 패턴에 특화되도록 만든다. 학습이 완료된 후에는 각 학습 뉴런을 가장 많이 반응한 클래스에 라벨링하고, 테스트 시 입력 패턴에 대해 학습 뉴런들의 발화율 평균을 계산해 최종 클래스를 결정한다. 실험에서는 기존 AER 데이터셋(N‑MNIST, N‑Caltech101, CIFAR‑10‑DVS)과 새롭게 제안한 GESTURE‑DVS를 포함한 다섯 개 데이터셋에서 평가하였다. 제안된 비지도 방식은 최신 지도 학습 기반 SNN이나 전통적인 CNN 대비 유사하거나 약간 높은 정확도를 달성했으며, 특히 학습 과정에서 라벨링 신호가 필요 없다는 점에서 실시간 및 현장 적용 가능성이 크다. 또한 스파이크 기반 처리와 STDP 학습은 전력 소모를 nJ 수준으로 낮출 수 있어 neuromorphic 하드웨어 구현에 적합하다. 논문은 AER 센서의 비동기 특성을 살린 효율적인 특징 추출, 로그형 시간 코딩을 통한 정보 압축, 그리고 STDP를 이용한 완전 비지도 학습이라는 세 가지 혁신적인 요소를 결합함으로써, 차세대 저전력 비전 시스템에 대한 중요한 방향성을 제시한다.