LoRA 압축의 새로운 패러다임 LoRA Squeeze

초록

LoRA‑Squeeze는 높은 차원의 LoRA 어댑터를 먼저 학습한 뒤, 랜덤화된 SVD(RSVD)를 이용해 원하는 낮은 차원으로 압축하는 방법이다. 사후 압축(Post‑Squeeze)과 학습 중 단계적 차원 감소(In‑Squeeze) 두 가지 전략을 제시하며, 13개의 텍스트와 10개의 비전‑언어 작업에서 낮은 차원의 어댑터가 동일 혹은 더 높은 성능을 달성함을 실증한다.

상세 분석

LoRA‑Squeeze는 기존 LoRA의 두 가지 근본적인 한계—최적 랭크 사전 선택의 어려움과 다양한 랭크 모듈의 배포 복잡성—를 해결하기 위해 “학습‑압축” 패러다임을 도입한다. 먼저, 원본 모델의 가중치 ΔW 를 완전하게 근사하는 고랭크 LoRA(A_src·B_src)를 학습한다. 이때 랭크 r_src는 일반적인 실험에서 2~4배 정도 크게 잡으며, 이는 파라미터 공간을 충분히 탐색하게 해 과소적합을 방지한다. 학습이 종료되면 A_src·B_src 를 곱해 ΔW_src 를 복원하고, 이 고차원 행렬에 대해 RSVD를 수행한다. RSVD는 무작위 가우시안 매트릭스 Ω 로 시작해 Y = ΔW_src·Ω 를 만든 뒤, 여러 차례의 QR 반복을 통해 열 공간을 정교화하고, 최종적으로 작은 차원의 핵심 서브스페이스 U_r, Σ_r, V_r 를 추출한다. 이때 오버샘플링 파라미터 k_o 와 파워 이터레이션 k_q 를 적절히 설정하면, 원본 ΔW 와의 Frobenius 오차를 최소화하면서도 연산 비용을 크게 낮출 수 있다. 추출된 U_r·Σ_r^{1/2} 와 Σ_r^{1/2}·V_r^T 를 각각 A_tgt, B_tgt 로 재구성하면, 목표 랭크 r_tgt 에 맞는 새로운 LoRA 모듈이 완성된다.

두 가지 적용 시나리오가 제시된다. 첫 번째인 Post‑Squeeze는 전체 fine‑tuning이 끝난 뒤 한 번에 압축을 수행한다. 이 방식은 기존 파인튜닝 파이프라인을 그대로 유지하면서도, 별도의 재학습 없이 다양한 배포 랭크를 실험할 수 있게 해준다. 두 번째인 In‑Squeeze는 학습 과정 중에 사전 정의된 스케줄에 따라 주기적으로 RSVD 압축을 수행하고, 압축된 저랭크 모듈을 다시 학습에 투입한다. 이렇게 단계적 annealing을 하면, 초기 고랭크 단계에서 풍부한 표현력을 확보하고, 점진적으로 파라미터 수를 감소시키면서도 손실을 최소화한다.

실험에서는 13개의 텍스트 기반 베이스라인(예: GLUE, SuperGLUE, SQuAD)과 10개의 비전‑언어 멀티모달 작업(ViLT, CLIP‑FineTune 등)에 대해 r_src=64128, r_tgt=832 범위에서 비교했다. 결과는 대부분의 경우 Post‑Squeeze가 직접 r_tgt 로 학습한 LoRA보다 0.20.8% 높은 정확도를 기록했으며, In‑Squeeze는 특히 r_tgt가 매우 낮을 때(≤16) 가장 큰 성능‑효율 향상을 보였다. 또한, 동일한 r_tgt 에 대해 하이퍼파라미터 탐색을 별도로 수행할 필요가 없어 전체 파인튜닝 비용을 3045% 절감했다.

이 방법은 기존 LoRA 파생 모델(AdaLoRA, LoRA‑XS 등)과 달리 추가적인 중요도 스코어링이나 레이어별 랭크 스케줄링 없이도 균일한 랭크 구조를 유지한다. 따라서 배치 처리, 메모리 관리, 서빙 인프라 측면에서 큰 이점을 제공한다. 또한 RSVD는 GPU‑메모리 친화적인 구현이 가능하므로, 수백억 파라미터 규모의 LLM에서도 실시간 압축이 가능하다. 향후 연구에서는 다중 LoRA 모듈 간 공유 서브스페이스 탐색, 비선형 변환을 포함한 압축 기법과 결합, 그리고 초대형 모델(예: 175B)에서의 스케일링 효과를 검증할 여지가 있다.