이중 메모리 경로를 활용한 뉴로모픽 네트워크 알고리즘 하드웨어 공동 설계

초록

본 논문은 뇌의 빠른‑느린 경로를 모방한 이중 메모리 경로(DMP) 구조를 제안한다. 각 층이 저차원 느린 상태벡터를 유지해 스파이킹 동역학을 조절함으로써 장기 시계열 정보를 효율적으로 보존한다. 이를 기반으로 근접 메모리 컴퓨팅 가속기를 설계해 연산량과 메모리 트래픽을 최소화하고, 기존 최첨단 SNN 대비 4배 이상의 처리량과 5배 이상의 에너지 효율을 달성하였다.

상세 분석

이 논문은 두 차원의 혁신을 동시에 다룬다. 첫 번째는 알고리즘 차원에서의 구조적 설계이며, 두 번째는 그 구조에 최적화된 하드웨어 아키텍처이다. 알고리즘 측면에서 저자들은 기존 스파이킹 신경망이 짧은 시간 상수(LIF)와 단일 스파이크 흐름에 의존해 장기 의존성을 포착하기 어려운 점을 지적한다. 이를 해결하기 위해 각 레이어에 차원 d ≪ N인 느린 메모리 벡터 m∈ℝ^d를 도입한다. 이 벡터는 선형 변환과 가중치‑조절된 누적 입력을 통해 느린 동역학을 갖으며, 매 타임스텝마다 스파이킹 뉴런의 전류 입력에 추가된다. 결과적으로 빠른 스파이킹 경로와 느린 메모리 경로가 상호 보완적으로 작동해, 짧은 시간에 발생하는 이벤트는 스파이크로 처리하고, 장기적인 맥락은 저차원 상태에 압축 저장한다.

이 설계는 파라미터 효율성에서도 큰 장점을 제공한다. 메모리 차원 d를 전체 뉴런 수의 510% 수준으로 제한함으로써 O(d) 추가 연산만 필요하고, 전체 파라미터 수는 기존 재귀형 SNN이나 딜레이 기반 SNN 대비 4060% 감소한다. 실험에서는 PS‑MNIST, S‑MNIST, SHD, SSC 등 다양한 시계열 벤치마크에서 DMP‑SNN이 동일 혹은 더 적은 파라미터로 최첨단 성능을 재현함을 보여준다. 특히 시각 시퀀스에서는 메모리 업데이트 간격(다이얼레이션)을 10까지 늘려도 정확도가 크게 떨어지지 않아, 메모리 접근 빈도를 크게 낮출 수 있다. 반면 청각 이벤트 스트림에서는 더 빈번한 업데이트가 필요함을 확인해, 작업 특성에 맞는 메모리 업데이트 정책을 설계할 수 있음을 시사한다.

하드웨어 측면에서는 DMP 구조의 핵심 특성인 “공유된 저차원 상태”를 근접 메모리(compute‑near‑memory) 블록에 배치한다. 이 블록은 고정된 크기의 SRAM에 상태 벡터를 저장하고, 스파이크 흐름은 별도의 희소 연산 유닛에서 처리한다. 데이터 플로우는 두 경로를 동시에 파이프라인화해, 스파이크 전송은 입력‑정지형(input‑stationary) 방식, 메모리 연산은 출력‑정지형(output‑stationary) 방식으로 최적화한다. 결과적으로 파라미터와 상태를 각각 다른 메모리 계층에 매핑함으로써 메모리 대역폭 요구를 O(N·d)에서 O(N+d) 수준으로 감소시킨다. 22FDX 7nm 공정 기반 시뮬레이션에서는 기존 재귀형 SNN 가속기 대비 4.2배 높은 처리량과 5.3배 낮은 에너지 소모를 기록했으며, 면적 효율성도 크게 개선되었다.

또한, 저자들은 DMP와 전통적인 딜레이 메커니즘을 결합한 실험을 수행했다. 메모리 차원 d가 작을 때 딜레이 분포가 짧은 쪽으로 이동했으며, 이는 메모리 상태가 장기 컨텍스트를 이미 제공하므로 딜레이가 보조적인 역할만 수행한다는 것을 의미한다. 따라서 DMP는 딜레이 기반 설계에서 요구되는 깊은 버퍼와 복잡한 타이밍 메타데이터를 크게 줄일 수 있다.

전체적으로 이 논문은 뇌의 빠른‑느린 경로를 추상화한 이중 메모리 구조가 알고리즘적 효율성과 하드웨어 구현 효율성을 동시에 향상시킬 수 있음을 실증한다. 메모리 차원과 레이어 폭, 업데이트 주기의 공동 최적화를 통해 장기 시계열 학습을 위한 새로운 설계 패러다임을 제시한다.