뉴로모픽 프로세서에서 서rogate 경사 하강법을 활용한 온칩 Few shot 학습에 관하여

📝 원문 정보

• Title: On-chip Few-shot Learning with Surrogate Gradient Descent on a Neuromorphic Processor
• ArXiv ID: 1910.04972
• 발행일: 2019-11-06
• 저자: Kenneth Stewart, Garrick Orchard, Sumit Bam Shrestha, Emre Neftci

📝 초록 (Abstract)

최근 연구에서는 생물 모델의 뉴런과 뇌형 컴퓨터 하드웨어의 시냅스 가소성 동역학이 기울기 기반 학습과 호환될 수 있다는 것을 제안하고 있습니다 (Neftci 등, 2019). 그러나 기울기 기반 학습은 데이터셋을 여러 번 반복해야 하는데, 이는 시간 소모적이고 훈련 샘플이 독립적으로 동일하게 분포되어야 한다는 제약 조건을 가집니다. 이러한 방식은 훈련과 추론 사이에 경계가 없는 시스템에는 적합하지 않습니다. 이를 극복하는 한 가지 접근법은 전이 학습으로, 여기서 네트워크의 일부는 사전 학습되고 하드웨어로 매핑되며 나머지 부분은 온라인으로 훈련됩니다. 전이 학습은 작업 도메인이 알려져 있다면 오프라인에서 사전 학습을 가속화할 수 있는 이점을 가지고 있으며, 각 클래스의 몇 가지 샘플만으로도 타겟 작업에 대한 합리적인 정확도를 달성할 수 있습니다. 여기서 우리는 Intel의 Loihi 뉴로모픽 연구 프로세서에서 특징을 사pike 기반의 역전파-통과 시간을 통해 사전 학습한 대체 기울기 기반의 온라인 소 샷 학습을 구현했습니다. 실험 결과는 Loihi 칩이 소수의 샷으로 온라인 동작 학습을 할 수 있으며, 이를 통해 전통적인 프로세서에서 시뮬레이션된 모델과 비교 가능한 성능을 달성함을 보여줍니다.

💡 논문 핵심 해설 (Deep Analysis)

This paper explores the implementation of few-shot learning on Intel's Loihi neuromorphic research processor, combining pre-trained features with surrogate gradient-based learning to enable online gesture recognition. The main challenge addressed is the time-consuming nature and constraints associated with traditional gradient-based learning methods that require multiple iterations over a dataset, which are incompatible with neuromorphic hardware where training and inference have no clear boundary. To overcome these limitations, the authors adopt transfer learning, pre-training parts of their network offline and fine-tuning it online with few samples per class. The experimental results show Loihi's capability to learn gestures using only a small number of shots, achieving performance comparable to models simulated on conventional processors. This research is significant as it opens new avenues for efficient real-time learning in neuromorphic hardware, potentially enhancing the responsiveness and adaptability of various online systems.

📄 논문 본문 발췌 (Translation)

Reference