LoRA가 라벨 노이즈에 강한 이유: 이론적 해석과 실용적 접근

초록

본 논문은 저‑랭크 적응(Low‑Rank Adaptation, LoRA)이 라벨 노이즈에 내성을 보이는 메커니즘을 이론적으로 규명한다. 저자는 (1) LoRA의 기억 용량이 O(r(d+k−r)) 을 초과하면 모든 라벨 조합을 외우지 못한다는 기억 용량 한계, (2) 노이즈 비율에 따라 최적의 랭크 r* 가 O((n / d(1+η))^{1/(2α+1)}) 로 감소한다는 편향‑분산 균형, (3) 학습 초기에는 깨끗한 패턴을, 이후에야 노이즈를 기억한다는 시간적 구분을 제시한다. 이를 바탕으로 고‑랭크와 저‑랭크 어댑터의 예측 차이를 이용해 노이즈 샘플을 탐지하는 RACT(Rank‑Aware Curriculum Training) 알고리즘을 제안하고, AG News 실험에서 91.1% F1 점수와 91.46% 정확도를 달성한다.

상세 분석

이 논문은 LoRA가 라벨 노이즈에 강인한 이유를 세 가지 이론적 관점에서 정량화한다. 첫 번째는 기억 용량 한계이다. LoRA는 가중치 업데이트를 ΔW = BA ( B∈ℝ^{d×r}, A∈ℝ^{r×k} ) 형태의 저‑랭크 행렬로 제한하므로 자유도는 r(d+k−r) 에 불과하다. 저자는 입력이 일반 위치에 있을 때 n > r(d+k−r) 이면 모든 가능한 라벨 할당을 만족시킬 수 없음을 증명한다. 이는 노이즈가 데이터셋에 과다하게 포함될 경우, LoRA가 그 노이즈를 전부 외우지 못하고 주요 신호에 집중한다는 의미다. 두 번째는 편향‑분산 트레이드오프이다. 신호가 α 차원의 스펙트럼 감소를 보인다고 가정하면, 저‑랭크 근사에 의한 편향은 O(r^{-2α}) 이고, 추정 분산은 O(rd/n) 이며, 노이즈에 의한 추가 분산은 O(η rd/n) 으로 나타난다. 이를 최소화하면 최적 랭크 r* 가 O((n / d(1+η))^{1/(2α+1)}) 가 되며, 노이즈 비율 η 가 커질수록 낮은 랭크가 바람직함을 보여준다. 세 번째는 학습 동역학이다. NTK 기반 선형화 가정 하에, 깨끗한 데이터의 그래디언트 공분산 행렬 Σ_clean 의 특잇값 σ₁≥…≥σ_r 이 크게 차이날 경우, 초기 단계에서는 큰 특잇값 방향이 빠르게 증폭돼 깨끗한 패턴을 학습한다. 반면 노이즈는 무작위 방향으로 작은 특잇값을 갖고, 충분히 오래 학습하면 t*≈(1/γσ_r)·log(1/η) 시점에 비로소 노이즈를 기억하기 시작한다. 따라서 조기 종료나 낮은 랭크 선택이 노이즈 기억을 억제한다. 이러한 이론적 결과를 활용해, 고‑랭크와 저‑랭크 어댑터를 동시에 학습시키고 두 모델의 손실 차이(랭크 불일치)를 계산하면 노이즈 샘플을 효과적으로 식별할 수 있다. 제안된 RACT 알고리즘은 이 차이를 기준으로 샘플을 정제하고, 실험에서는 라벨 노이즈 탐지 F1 91.1%와 기존 파인튜닝 대비 동등한 정확도 91.46%를 달성한다. 전체적으로 논문은 LoRA의 구조적 제한이 암묵적인 정규화 역할을 하며, 이를 정량화하고 실제 탐지 기법으로 전이시킨 점이 큰 공헌이다.