Kirin 정밀도 손실 없는 ANN SNN 변환을 위한 정수 스파이크 하이브리드

초록

본 논문은 대규모 언어 모델(LLM)의 에너지 소모를 줄이기 위해 ANN을 SNN으로 변환하는 새로운 프레임워크인 Kirin을 제안한다. Kirin은 낮은 비트폭 파라미터는 시간‑투‑첫‑스파이크(TTFS) 방식으로 이진 스파이크화하고, 고비트폭 아웃라이어는 정수 형태로 그대로 유지하는 스파이크 매트릭스 하이브리드 전략을 사용한다. 또한, 침묵 임계값(Silence Threshold) 메커니즘을 도입해 단일 스파이크 시점이 늦어질 경우에도 출력이 수학적으로 정확히 동일하도록 보장한다. 실험 결과, W4A4&8 양자화 설정에서 FP16 수준의 정확도를 유지하면서 에너지 소비를 최대 84.66% 절감하고, 시간 스텝을 93.75% 단축하였다.

상세 분석

Kir​in은 ANN‑to‑SNN 변환 과정에서 두 가지 핵심 병목을 동시에 해소한다. 첫 번째는 양자화 비트폭이 높아질수록 요구되는 시간 창 T=2^b 가 기하급수적으로 증가해 레이턴시가 폭증한다는 점이다. 기존 방법은 전체 파라미터를 동일한 비트폭으로 양자화하거나, 낮은 비트폭만 사용해 시간 창을 줄이지만, 이는 아웃라이어에 대한 정보 손실을 초래한다. Kirin은 MAD 기반 아웃라이어 탐지를 통해 고비트폭(예: 8비트) 파라미터를 식별하고, 이들을 스파이크 변환에서 제외한다. 대신 정수 연산으로 직접 매트릭스 곱을 수행함으로써 긴 시간 창을 회피한다. 여기서 중요한 설계 선택은 “스파이크 매트릭스”와 “정수 매트릭스” 중 어느 쪽을 스파이크화할지 결정하는 것이다. 저자는 아웃라이어 비율이 전체 파라미터의 2~3% 수준에 불과하므로, 정수 연산이 전체 연산량에 미치는 영향을 최소화하면서도 레이턴시를 크게 단축할 수 있음을 실증하였다. 두 번째 병목은 TTFS 인코딩이 단일 스파이크만 허용함으로써 층간 정보 손실이 발생한다는 점이다. 이를 보완하기 위해 Kirin은 “Silence Threshold”를 도입한다. IF 뉴런이 일정 전위에 도달했지만 스파이크를 발생시키지 않고 침묵을 유지하도록 설계함으로써, 실제 출력값이 양자화된 실수값과 동일하도록 보장한다. 이 메커니즘은 TTFS의 에너지 효율성을 유지하면서도 레이트 인코딩 수준의 정보 전달 정확성을 제공한다. 실험에서는 Llama‑2‑7B와 같은 대형 모델에 W4A4&8 양자화를 적용했을 때, FP16 기준 정확도 손실이 거의 없으며, 에너지 절감률 84.66%와 시간 스텝 감소율 93.75%를 달성했다. 이는 기존 SNN 변환 기법이 겪던 정확도‑에너지‑시간 삼각형 문제를 효과적으로 균형 맞춘 결과라 할 수 있다. 또한, 정수‑스파이크 하이브리드 구조는 기존 MAC‑중심 하드웨어와도 호환 가능하도록 설계돼, 차세대 저전력 AI 가속기에 적용될 잠재력이 크다.