프리트레이닝이 LoRA 미세조정 속도를 늦출 수 있다: 단일 지수 모델을 통한 동역학 분석

초록

**
본 논문은 사전 학습된 가중치가 LoRA 방식으로 미세조정될 때, 과도한 사전 학습이 오히려 학습 초기 탐색 단계를 길게 만들고 수렴 속도를 저하시킬 수 있음을 단일 지수 모델과 일회 SGD 분석을 통해 이론적으로 증명한다. 초기 정렬도와 활성 함수의 비선형성(정보 지수)에 따라 수렴 시간의 비선형적 의존성이 나타나며, 강한 사전 학습이 “검색 단계”를 연장시켜 최종 성능을 저해할 수 있음을 보여준다.

**

상세 분석

**
논문은 LoRA(Low‑Rank Adaptation)라는 파라미터‑효율적 미세조정 기법을 단일 지수 모델(single‑index model)이라는 고차원 분석이 가능한 프레임워크에 매핑한다. 여기서 목표 함수는 (f^\star(x)=\phi(\omega^\star!\cdot!x)) 형태이며, 사전 학습된 가중치 (\tilde\omega)는 (\tilde\omega=\mu,\omega^\star) 로 표현된다. (\mu\in(0,1)) 은 사전 학습이 얼마나 목표 방향에 정렬되어 있는지를 나타내는 파라미터이다. LoRA는 (\tilde\omega)에 저‑랭크 보정 (u\omega) (스칼라 (u)와 단위벡터 (\omega))를 추가함으로써 모델을 업데이트한다.

핵심 기술은 고차원 확률적 학습 역학을 두 개의 요약 통계량, 즉 스칼라 보정 (u)와 목표와의 정렬도 (m=\omega!\cdot!\omega^\star) 로 축소하는 것이다. 일회 SGD(한 번씩만 데이터를 보는 온라인 SGD)의 연속적인 업데이트는 작은 학습률 (\gamma) 하에서 확률적 과정이 결정론적 연속 흐름 ((u_t,m_t)) 로 수렴한다는 기존 결과를 활용한다. 이때 손실 함수는 ((u,m))만 의존하므로, 고차원 파라미터 공간을 2차원 동역학으로 완전히 기술할 수 있다.

활성 함수 (\phi)의 비선형성은 Hermite 다항식 전개를 통해 “정보 지수”(information exponent, IE) (k^\star) 로 요약된다. 기존 연구는 (k^\star) 가 클수록 초기 기울기 신호가 약해져 샘플 복잡도가 (n=\Theta(d^{k^\star-1})) 로 급격히 증가함을 보였다. 여기서는 사전 학습에 의해 생성된 사전 활성값의 분산 (r=\mu^2+u^2+2\mu u m) 가 변함에 따라 학생 모델의 Hermite 전개가 원래의 (k^\star) 대신 짝수 차수만 남게 되고, 실제로는 IE가 최대 2 로 축소된다. 즉, LoRA 미세조정은 암묵적으로 비선형성을 완화하는 정규화 효과를 갖는다.

가장 중요한 결과는 초기 정렬도 (\mu) 가 클수록 “검색 단계”(model이 목표 방향을 발견하는 초기 구간)가 길어진다. (\mu) 가 0에 가까우면 초기 (m_{\text{eff}}=\mu+u m) 가 매우 작아 손실의 주요 항이 (m_{\text{eff}}^{k^\star}) 형태로 지배되며, SGD는 빠르게 기울기 신호를 포착한다. 반면 (\mu) 가 0.8~0.9 정도면 이미 (m_{\text{eff}}) 가 O(1) 수준이 되어 고차항이 무시되지 못하고, 손실 표면이 평탄해져 기울기가 거의 사라진다. 결과적으로 SGD는 매우 많은 샘플을 소비해도 정렬도가 크게 개선되지 않으며, 수렴이 실질적으로 불가능한 경우도 존재한다.

또한 논문은 라벨 변환(예: 스케일링, 비선형 변환)이 사전 활성값 분산을 조정해 IE를 낮추어 탐색 단계를 가속화할 수 있음을 보인다. 하지만 이러한 전처리 역시 사전 학습과의 정렬 정도에 크게 의존한다.

실험적으로는 선형, erf, ReLU, sigmoid 활성 함수를 사용해 (\mu) 를 0.1, 0.5, 0.8, 0.9 로 변화시킨 결과를 제시한다. 테스트 MSE와 정렬도 (m), 효과적 정렬도 (m_{\text{eff}}) 를 시간(gradient steps) 축에 따라 플롯한 Figure 1에서, (\mu) 가 클수록 초기 MSE 감소가 지연되고, 최종 정렬도에 도달하기까지 수십 배 더 많은 업데이트가 필요함을 확인한다.

이론적 분석과 실험 결과를 종합하면, 사전 학습이 “잘 맞는다”고 가정하더라도 그 강도가 과도하면 LoRA 미세조정이 오히려 비효율적이 될 수 있다. 이는 최근 대형 언어 모델에서 보고된 “catastrophic overtraining” 현상과 일맥상통하며, 사전 학습과 미세조정 사이의 정렬도와 비선형성의 상호작용을 정량적으로 이해하는 첫 번째 시도라 할 수 있다.

**