프로젝션 기하학으로 보는 모델 압축 절단보다 접기

초록

본 논문은 신경망 압축을 축소 없이 수행하는 두 방법, 구조적 프루닝과 모델 폴딩을 정규 직교 투영으로 형식화한다. 프루닝은 축에 정렬된 좌표 투영이며, 폴딩은 가중치 클러스터링을 통한 저차원 저랭크 투영이다. 이론적으로 동일한 차원 차이(한 랭크) 내에서 폴딩이 파라미터 재구성 오차와 손실 함수 변동을 더 작게 만든다는 것을 증명하고, 다양한 CNN, ViT, LLaMA 모델에 대해 1,000여 개 체크포인트를 실험하여 중·고 압축 구간에서 폴딩이 일관되게 정확도 향상을 제공함을 확인한다.

상세 분석

논문은 먼저 신경망 가중치를 행렬 W 로 표현하고, 손실 함수 L 이 파라미터에 대해 리프시츠 연속성을 가진다고 가정한다. 이때 파라미터 공간에서의 압축은 W 를 저차원 부분공간에 정규 직교 투영하는 연산으로 모델링한다. 구조적 프루닝은 축에 정렬된 부분공간, 즉 일부 행을 0으로 만드는 Cₚ =