유연한 저랭크 적응을 위한 엔트로피 기반 FlexLoRA

초록

FlexLoRA는 스펙트럼 엔트로피를 이용해 각 LoRA 행렬의 중요도를 평가하고, 전역 예산 하에서 필요에 따라 랭크를 감소·증가시키는 동적 저랭크 적응 기법이다. 새로 추가된 특이 방향은 영값 초기화와 가우시안 벡터로 안정성을 확보한다. 실험 결과, 동일 파라미터 예산에서 기존 LoRA·AdaLoRA보다 전반적인 성능이 우수함을 보였다.

상세 분석

FlexLoRA는 기존 LoRA가 고정된 랭크 r을 모든 레이어에 동일하게 적용하는 한계를 극복하기 위해, 각 레이어의 저랭크 업데이트 ΔW를 SVD 형태(P Λ Q)로 표현한다. 여기서 Λ는 특이값 대각행렬이며, P와 Q는 각각 출력·입력 차원에 대한 직교 특이벡터이다. 논문은 특이값의 제곱 비율 s_i = λ_i² / Σ_j λ_j² 를 이용해 스펙트럼 엔트로피 I(Λ) = –(1/ log r) Σ_i s_i log(s_i+ε) 를 정의한다. 엔트로피가 낮으면 에너지가 소수의 특이값에 집중되어 불필요한 차원이 존재함을 의미하고, 높은 엔트로피는 정보가 고르게 분포해 해당 레이어가 더 많은 용량을 필요로 함을 나타낸다.

이 중요도 점수를 전역 예산 b(t)와 결합해 매 단계마다 가장 낮은 점수를 가진 b(t)개의 행렬에서 최소 특이값을 제거해 랭크를 감소시키고, 가장 높은 점수를 가진 b(t)개의 행렬에 새로운 특이 방향을 추가한다. 새 방향은 λ_new = 0, P_new·Q_new는 평균 0, 분산 1인 가우시안으로 초기화하는 ‘zero‑impact initialization’ 방식을 채택해 기존 출력에 즉각적인 영향을 주지 않으며, 학습 과정에서 점진적으로 성장한다.

안정성을 위해 P와 Q의 직교성을 정규화 항 R(P,Q)=‖PᵀP–I‖_F²+‖QQᵀ–I‖_F² 로 제약한다. 또한 랭크 조정 스케줄 b(t)는 초기값 b₀를 기준으로 워밍업·코스믹 감쇠(cubic decay) 함수를 적용해 급격한 변동을 방지한다. 이러한 설계는 기존 AdaLoRA·SaLoRA가 단순히 랭크 감소에만 초점을 맞추고, 전역 정렬 과정에서 레이어 간 차이를 무시하는 문제를 보완한다.

실험에서는 DeBERTa‑v3‑base, LLaMA 시리즈, ViT‑B/16을 대상으로 GLUE, Commonsense Reasoning, VTAB 등 3가지 도메인(언어 이해, 상식 추론, 시각 인식)에서 평가하였다. 동일 파라미터 예산(예: 총 1 M 학습 파라미터) 하에서 FlexLoRA는 LoRA와 AdaLoRA 대비 평균 1.2~2.3%의 정확도 향상을 기록했으며, 특히 고차원 특성(예: 대규모 언어 모델)에서 랭크 확장이 큰 효과를 보였다. Ablation study는 엔트로피 기반 중요도와 zero‑impact 초기화가 각각 성능 향상에 기여함을 확인했고, 정규화 없이 진행할 경우 학습 불안정성이 급증함을 보여준다.

이 논문은 엔트로피를 이용한 매트릭스‑레벨 중요도 평가가 저랭크 적응에 있어 보다 이론적으로 타당하고, 동적 랭크 확장·축소가 가능한 프레임워크를 제공한다는 점에서 PEFT 분야에 새로운 패러다임을 제시한다.