자기 적응형 누적 오류 억제를 위한 SVD 기반 대형 언어 모델 압축

초록

SAES‑SVD는 각 층의 재구성 오류와 이전 층에서 전파된 누적 오류를 동시에 최소화하도록 설계된 저‑랭크 압축 프레임워크이다. CEALC는 층별 출력과 전체 정밀도 기준 출력을 정렬하는 가중 손실을 도입하고, ACES는 층마다 최적의 가중치를 자동 조정해 남은 에너지 비율을 최대화한다. 실험 결과, 20 % 압축 비율에서 기존 SVD 기반 방법에 비해 정확도 저하를 58 % 감소시키고 퍼플렉시티 차이를 52 % 줄였다.

상세 분석

SAES‑SVD는 기존 저‑랭크 압축이 “층별 독립 최적화”에 머무르는 한계를 정확히 짚어낸다. 전통적인 SVD 기반 방법은 각 층의 가중치를 (W_\ell)에 대해 (\min_{A,B}|ABX_\ell-W_\ell X_\ell|F) 형태로 손실을 정의하고, 입력 활성화 (X\ell)가 압축된 상위 층에 의해 왜곡되는 사실을 무시한다. 이로 인해 초깃값에서부터 누적된 오류가 깊은 층으로 갈수록 증폭돼 최종 출력이 원본 모델과 크게 달라진다.

SAES‑SVD는 이를 해결하기 위해 두 가지 핵심 아이디어를 제시한다. 첫 번째인 **Cumulative Error‑Aware Layer Compression (CEALC)**는 손실에 정규화된 전체‑정밀도 출력 (W_\ell X^{\text{fp}}_\ell)와의 정렬 항을 추가한다. 구체적으로
\