Null LoRA 널 공간 기반 저차원 적응으로 파라미터 효율 극대화

초록

본 논문은 대규모 비전‑언어 모델의 파라미터 효율적 파인튜닝을 위해, 사전 학습 가중치의 널 공간을 활용한 저차원 적응 기법인 Null‑LoRA를 제안한다. 저차원 행렬 B와 A를 절반씩 고정하고 나머지 절반만 학습하는 ‘크로스‑프리징’과, 사전 가중치의 오른쪽 널 공간을 정규직교 기저로 이용해 전체 업데이트를 널 공간에 투영함으로써 파라미터 중복을 크게 감소시키고, 실제 유효 차원을 높인다. 이미지‑텍스트 검색 및 VQA 등 멀티모달 벤치마크에서 기존 LoRA·DoRA·UniAdapter 등을 능가하면서도 학습 파라미터를 30% 이하로 줄이는 성과를 보였다.

상세 분석

Null‑LoRA는 기존 LoRA가 제시한 저차원 행렬 분해 ΔW = B A 에 대한 두 가지 핵심 개선을 도입한다. 첫 번째는 **크로스‑프리징(Cross‑Freezing)**이다. B와 A를 각각 차원 r 의 절반 (r/2) 씩 두 부분으로 나눈 뒤, 앞 절반 B_f, A_f 는 사전 학습된 가중치의 널 공간 기저로 초기화하고 고정한다. 나머지 절반 B, A 는 학습 가능하게 유지하면서, 고정된 행렬과 학습 가능한 행렬을 교차 결합( B A_f + B_f A )한다. 이 구조는 전체 r 차원의 효과적 랭크를 유지하면서 파라미터 수는 절반으로 감소한다는 점에서 기존 LoRA의 “랭크를 늘리면 파라미터가 늘어난다”는 트레이드오프를 회피한다. 또한, 고정‑학습 행렬 간의 노름 차이를 보정하기 위해 **동적 노름 스케일링(Dynamic Norm Scaling)**을 적용한다. 스케일링 벡터 s 를 대각 행렬 S 에 삽입해 ΔW = B S₁ A_f + B_f S₂ A 와 같이 구성함으로써, 두 절반의 행렬이 비슷한 스케일을 갖도록 강제한다. 이는 그래디언트 흐름을 안정화하고 일반화 성능을 향상시킨다.

두 번째 핵심은 **널 공간 제약(Null‑Space Constraint)**이다. 사전 가중치 W₀ 에 대해 SVD를 수행해 영특이값에 대응하는 오른쪽 기저 \hat V 와 왼쪽 기저 \hat U 를 추출한다. 이 기저를 각각 A_f, B_f 의 초기값으로 사용하면 W₀ᵀ B_f = 0 및 W₀ A_f = 0 을 만족한다. 이후 ΔW 를 P = \hat U \hat Uᵀ 라는 투영 행렬을 통해 P B S₁ A_f + B_f S₂ A 로 변환한다. 이 과정은 ΔW 가 W₀ᵀ 의 널 공간에 완전히 포함되도록 보장한다( W₀ᵀ ΔW = 0 ). 결과적으로 파인튜닝 단계에서 모델은 사전 학습된 표현을 손상시키지 않으면서, 완전히 새로운 직교 서브스페이스를 탐색한다. 이는 “잊어버림” 문제를 완화하고, 파라미터 효율성을 극대화한다는 이론적 근거를 제공한다.

또한, 랭크 자체 적응(Rank Self‑Adaptation) 메커니즘을 도입해 각 레이어의 실제 널 차원 nullity(W₀) 에 비례해 r 을 자동 조정한다. 널 차원이 큰 레이어는 더 높은 r 을 할당받아 표현력을 확보하고, 널 차원이 작은 레이어는 낮은 r 으로 비용을 절감한다. 이는 전체 모델의 연산량과 메모리 사용량을 균형 있게 최적화한다.

실험에서는 BLIP‑base를 백본으로 사용해 이미지‑텍스트 검색(MS‑COCO, Flickr30K)과 VQA(v2) 두 과제에 대해 기존 LoRA(32‑rank, 10.6 M 파라미터), DoRA, UniAdapter(512‑rank, 19.5 M), Aurora(64‑rank, 0.6 M) 등을 비교하였다. Null‑LoRA는 파라미터 수 6 M(이미지‑텍스트)·9.5 M(VQA) 수준에서, R@1, R@5, R@10 등 주요 지표에서 대부분의 베이스라인을 앞섰으며, 특히 전체 파인튜닝 모델에 근접한 성능을 보였다. 널 공간 없이 초기화한 버전과의 비교에서도 0.4~0.5 % 정도의 정확도 향상이 관찰되어, 널 공간 투영이 실제 성능 향상에 기여함을 확인했다.

요약하면, Null‑LoRA는 (1) 크로스‑프리징으로 효과적 랭크를 유지하면서 파라미터를 절반으로 감소, (2) 동적 노름 스케일링으로 학습 안정성 확보, (3) 널 공간 초기화·투영으로 사전 지식 보존 및 새로운 서브스페이스 탐색, (4) 레이어별 널 차원 기반 자동 랭크 조정이라는 네 가지 설계 요소를 결합해, 파라미터 효율성과 성능을 동시에 달성한 혁신적인 PEFT 기법이다.