AIRE‑Prune: 상태공간 모델의 에너지 기반 구조적 프루닝

초록

AIRE‑Prune은 훈련된 상태공간 모델(SSM)의 각 상태(모드)에 대해 무한 시간 임펄스 응답 에너지를 닫힌 형태로 계산하고, 이를 레이어별 정규화하여 전역적으로 비교·선택함으로써 평균 60 % 이상의 차원을 제거하면서 정확도 손실을 0.3 % 이하로 억제하는 사후 프루닝 기법이다.

상세 분석

본 논문은 최근 딥 SSM이 시퀀스 모델링에서 보여준 뛰어난 성능에도 불구하고, 상태 차원 n 이 메모리·연산 비용을 좌우한다는 문제점을 지적한다. 기존의 구조적 프루닝 방법인 LAST는 각 상태를 H∞ 최악‑케이스 게인으로 평가해 보수적으로 프루닝했지만, 실제 입력은 임펄스 혹은 백색 잡음과 같이 전체 주파수를 고르게 자극한다는 점을 간과한다. 저자들은 이 점을 보완하기 위해 ‘무한‑시간 임펄스 응답 에너지(Asymptotic Impulse‑Response Energy, AIRE)’를 중요도 지표로 채택한다.

수학적으로, 이산 시간 대각선 SSM Σ (Λ, B, C) 에 대해 임펄스 입력 δ