Matterhorn 효율적인 아날로그 희소 스파이킹 트랜스포머와 마스크드 TTFS 인코딩

초록

본 논문은 스파이킹 신경망 기반 트랜스포머의 에너지 효율을 극대화하기 위해 두 가지 핵심 기술을 제안한다. 첫째, 가장 빈번하게 발생하는 막전위 값을 무스파이크(전혀 스파이크가 없는) 상태에 매핑하는 마스크드 시간‑첫‑스파이크(M‑TTFS) 인코딩으로 스파이크 전송량을 크게 줄인다. 둘째, 멤리스터 기반 메모리‑내 연산(MSU)을 활용해 가중치 접근 비용을 사실상 제거하는 아날로그 컴퓨트‑인‑메모리 구조를 도입한다. GLUE 벤치마크에서 기존 SNN 대비 평균 정확도가 1.42% 상승하고, 에너지 효율은 2.31배 향상되었다.

상세 분석

Matterhorn은 스파이킹 트랜스포머의 에너지 소비 구조를 정밀히 분석한 뒤, 데이터 이동이 전체 에너지의 70% 이상을 차지한다는 사실을 강조한다. 기존 연구들은 ACC 연산만을 기준으로 효율을 평가했지만, 실제 실리콘 구현에서는 스파이크 전송(인터코어 통신)과 가중치 접근(SRAM 읽기)이 주된 전력 소모원인 점을 실험적으로 입증한다. 이러한 관점을 바탕으로 저자는 두 가지 혁신적인 설계를 제시한다.

첫 번째는 M‑TTFS 인코딩이다. 전통적인 TTFS는 높은 막전위가 먼저 스파이크를 발생시키고, 전혀 스파이크가 없을 때만 ‘무스파이크’ 상태가 된다. 그러나 트랜스포머의 활성값 분포는 정규에 가깝고, 가장 빈번한 값이 중간 정도에 위치한다. 따라서 기존 매핑은 흔히 발생하는 값들을 스파이크로 변환해 불필요한 전송을 초래한다. M‑TTFS는 가장 자주 나타나는 firing time I_max를 찾아 해당 시간대에 스파이크를 억제하고, 이를 무스파이크 상태에 매핑한다. 추가로 ‘dead zone’ 파라미터 k를 도입해 I_max 주변의 일정 범위까지 모두 무스파이크로 전환함으로써 전체 스파이크 비율을 5% 이하, 최악의 경우 1.65%까지 낮춘다. 이 과정은 정보 손실 없이도 스파이크 전송량을 크게 감소시켜 데이터 이동 에너지를 크게 절감한다.

두 번째는 Memristive Synapse Unit(MSU)이다. MSU는 n‑Transistor‑1‑Resistor(nT1R) 교차바를 기반으로 RRAM 소자를 이용해 가중치를 메모리 내부에 고정하고, 입력 전류를 직접 아날로그 방식으로 적분한다. 이렇게 하면 디지털 SRAM에서 가중치를 읽어오는 비용이 사라지고, VMM 연산이 단일 아날로그 읽기 동작으로 수행된다. 또한 스파이크가 전혀 없는 경우(무스파이크)에는 전류가 흐르지 않아 회로 자체가 전력 차단(pwr‑gating) 효과를 얻는다. 따라서 M‑TTFS에서 유도된 높은 희소성은 MSU의 전력 절감과 직접 시너지 효과를 만든다.

학습 측면에서는 QNN‑to‑SNN 변환 프레임워크를 사용한다. 양자화된 QNN을 먼저 학습한 뒤, 양자화 비트수 n과 시간 창 T를 일치시키고, 가장 빈번한 양자화 값 µ를 I_max에 대응시킨다. 제안된 Proposition 1에 따라 dead zone 매핑을 통해 QNN의 정밀도와 SNN의 스파이크 타이밍이 수학적으로 동등함을 증명한다. 이를 위해 지식 증류와 동적 발화 임계값(DFT) 기법을 결합해 학습 안정성을 확보한다.

실험 결과는 설계의 타당성을 뒷받침한다. GLUE 벤치마크에서 Matterhorn은 기존 SNN 기반 모델보다 평균 정확도가 1.42% 상승했으며, 전체 에너지 소비는 2.31배 감소했다. 특히 SST‑2와 같은 감성 분석 태스크에서 스파이크 비율을 4.07%→2.77%로 낮추면서도 정확도 손실이 없었고, dead zone(k=1, T=16) 적용 시 전체 스파이크 비율을 1.65%까지 억제했다. 하드웨어 시뮬레이션에서는 22nm 공정 기준으로 스파이크 전송 에너지가 42–55%를 차지하던 기존 설계와 달리, MSU와 M‑TTFS 결합으로 데이터 이동 비중을 크게 낮출 수 있음을 확인했다.

이러한 분석을 종합하면, Matterhorn은 스파이킹 신경망의 두 핵심 에너지 병목(스파이크 전송과 가중치 접근)을 동시에 해결함으로써, 실제 하드웨어 구현에서도 실질적인 전력 절감을 달성한 최초의 통합 아키텍처라 할 수 있다.