스파이킹 뇌 압축: 한 번에 끝내는 포스트 트레이닝 2차 압축 기법

초록

본 논문은 스파이킹 신경망(SNN)의 파라미터를 사후 훈련 단계에서 한 번에 압축하는 프레임워크인 Spiking Brain Compression(SBC)을 제안한다. 기존 최적 뇌 외과(Optimal Brain Surgeon) 방법을 SNN에 맞게 변형하여, 전류 기반 손실 대신 출력 스파이크 트레인의 Van Rossum Distance를 이용한 손실 함수를 정의하고, 그 Hessian을 저비용으로 추정한다. 이를 통해 모듈 단위로 가중치를 선택·보정하고, 프루닝과 양자화를 동시에 수행한다. N‑샘플 이하의 캘리브레이션 데이터만으로도 ImageNet 규모의 SEW‑ResNet152와 스파이킹 트랜스포머에 대해 기존 ANN 기반 포스트 트레이닝 압축 대비 1~2자리 정확도 향상을 달성한다.

상세 분석

SBC는 두 가지 핵심 아이디어에 기반한다. 첫째, SNN의 특성을 반영한 손실 함수 설계이다. 기존 ANN 압축에서는 레이어 출력의 선형값에 L2 손실을 적용했지만, 스파이킹 뉴런은 이산적인 스파이크 시퀀스를 생성하므로 시간적 거리와 스파이크 타이밍을 고려해야 한다. 저자들은 Van Rossum Distance(VRD)를 이용해 스파이크 트레인을 연속적인 신호로 변환한 뒤 L2 손실을 정의하고, 이를 ‘Surrogate Membrane Potential(SMP)’라 명명하였다. 둘째, 이 손실에 대한 Hessian을 효율적으로 구한다는 점이다. VRD는 시간 축 컨볼루션 행렬 M과 입력 행렬 X의 곱 형태로 표현될 수 있어, Hessian Hₛₘₚ = 2·(M·X)ᵀ·(M·X) 로 간단히 계산된다. 이는 기존 OBS에서 요구되는 전체 Hessian 역행렬을 구하는 복잡도를 크게 낮추며, 배치 크기 B에 따라 O(d³_in·B_in) 시간, O(d²_in·B_out) 메모리만 사용한다.

모듈 단위 압축 전략도 주목할 만하다. 각 모듈은 Conv/BN → LIF 형태로 구성되며, Conv와 BN을 하나의 선형 매핑으로 합친 뒤 LIF 앞에 배치한다. 이렇게 하면 모듈 내부의 가중치 행렬 W를 독립적인 압축 문제로 분리할 수 있다. 압축 단계는 (1) LAMPS 기반으로 모듈별 목표 희소도 결정, (2) OBS 기반 손실 순위에 따라 가중치를 선택·프루닝, (3) Sherman‑Morrison 공식을 이용해 역 Hessian을 업데이트하고, (4) 선택된 가중치에 대해 δ = −H⁻¹_:,P·(H_P,P)⁻¹·W_:,P 로 보정한다. 프루닝뿐 아니라 양자화에서도 동일한 Hessian을 활용해 GPTQ와 유사한 절차를 적용한다.

실험 결과는 SBC의 실용성을 잘 보여준다. N‑샘플(≤1 per class) 캘리브레이션 데이터만으로도 CIFAR‑10/100, ImageNet 등 다양한 데이터셋에서 기존 ANN PTQ(예: OBC, GPTQ) 대비 1~2% 이상의 정확도 향상을 기록했다. 특히 SEW‑ResNet152와 스파이킹 트랜스포머와 같은 대형 모델에서도 90% 이상 희소도를 유지하면서 원본 정확도와 근접하거나 오히려 개선된 성능을 보였다. 또한 SynOps 기반 에너지 프록시 분석을 통해 압축 후 연산량이 크게 감소함을 확인했으며, 메모리 사용량도 양자화와 프루닝을 동시에 적용해 4‑bit 수준까지 낮출 수 있었다.

한계점으로는 현재 SMP에서 사용한 상수형 surrogate gradient(g(u)=1)가 모든 모델에 최적은 아닐 수 있다는 점이다. 향후 다양한 surrogate 함수와 비선형 Hessian 근사법을 탐색하면 더 정밀한 압축이 가능할 것으로 보인다. 또한 캘리브레이션 데이터가 전혀 없는 상황에서는 Hessian 추정이 불안정해질 수 있으므로, 데이터‑프리 혹은 메타‑학습 기반 추정 기법과의 결합도 연구 가치가 있다.

전반적으로 SBC는 SNN 특화 손실과 효율적인 2차 정보 활용을 통해, 대규모 스파이킹 모델을 사후 압축하는 데 필요한 계산 비용을 크게 낮추면서도 정확도 손실을 최소화한다는 점에서 포스트‑트레이닝 압축 분야에 중요한 전진을 제시한다.