LoRA 경사하강법 수렴 속도와 학습률 설계

초록

본 논문은 LoRA(Low‑Rank Adaptation) 파라미터화된 모델을 직접적인 경사하강법으로 최적화할 때, 기존의 Lipschitz 연속성 가정 없이도 비대칭적인 수렴률 O(1/log T)를 증명한다. 핵심은 어댑터 행렬을 하나의 스택 행렬 V로 재구성하고, “Lipschitz‑like” 하강 보조정리를 도입해 학습률을 파라미터와 그래디언트 크기에 따라 동적으로 조절하는 것이다. 실험은 로지스틱 회귀와 ResNet‑18에 적용해 제안된 학습률 스케줄이 수렴을 가속화함을 확인한다.

상세 분석

이 논문은 LoRA가 기존 파라미터 W = W₀ + BA 형태로 재파라미터화될 때, B와 A를 동시에 업데이트하는 원래 알고리즘을 그대로 분석한다. 기존 이론은 원래 손실 ℓ이 Lipschitz smooth하더라도 재파라미터화된 손실 L(B A) = ℓ(W₀ + BA)는 B와 A에 대해 비스무스(비-Lipschitz)하므로 전통적인 수렴 분석이 불가능했다. 저자들은 세 가지 핵심 아이디어로 이를 극복한다.

첫째, B와 Aᵀ를 하나의 행렬 V ∈ ℝ^{(m+n)×r}에 쌓아 V Vᵀ 형태로 표현한다. 이때 B A는 V Vᵀ의 오른쪽 상단 블록 E₁ V Vᵀ E₂ 로 추출된다. 따라서 LoRA 경사하강법은 J(V) = L(E₁ V Vᵀ E₂) 를 최소화하는 표준 GD와 동등함을 보인다.

둘째, J(V)의 그래디언트는 ∇J(V) = 2 Sym(E₁ᵀ ∇L(E₁ V Vᵀ E₂) E₂ᵀ) V 로, V가 곱해진 형태라 Lipschitz smooth가 아니다. 저자는 고차항을 명시적으로 포함한 새로운 하강 보조정리(Lemma 3.3)를 증명한다. 이 보조정리는 ∥V₂−V₁∥와 ∥V₁∥, 그리고 ∥∇L∥ 사이의 복합적인 상한을 제공한다.

셋째, 보조정리를 이용해 학습률 ηₜ를 ηₜ = min{1, 1/(5√2 L(∥Vₜ∥ + ∥∇L∥))} 로 선택하면, 한 단계마다 J(Vₜ₊₁) ≤ J(Vₜ) − (ηₜ/5)∥∇J(Vₜ)∥² 가 성립한다(Lemma 3.4). 여기서 ηₜ는 현재 파라미터 크기와 원래 손실의 그래디언트 크기에 의존한다는 점이 핵심이다. ηₜ의 합이 무한히 발산하면 최소 그래디언트 노름이 O(1/∑ηₜ) 로 감소한다. 저자는 최악의 경우 ∥Vₜ∥² = O(t) 를 보이며, ∑_{t=0}^{T-1} ηₜ ≥ c·log T 가 됨을 증명한다. 따라서 최종 수렴률은 O(1/log T) 로, 전통적인 O(1/T) 보다 느리지만, 어댑터 노름을 별도 제한하지 않아도 된다. 어댑터 노름이 사전에 유계라면 기존 O(1/T) 속도를 복구한다는 부가 결과도 제시한다.

이론적 분석을 바탕으로 저자들은 파라미터·그래디언트 크기에 기반한 적응형 학습률 스케줄을 설계하고, CIFAR‑10 위에서 로지스틱 회귀와 ResNet‑18에 적용했다. 실험 결과, 제안된 스케줄은 고정 학습률 대비 손실 감소가 빠르고, 훈련 과정에서 발생할 수 있는 발산 현상을 완화한다. 전체적으로 이 논문은 LoRA의 비선형 재파라미터화가 초래하는 “위치 의존성”(origin에서 멀어질수록 수렴이 느려짐)을 정량화하고, 실제 학습에 적용 가능한 이론적 가이드를 제공한다.