Muon 옵티마이저와 LoRA 결합에서의 균일 스펙트럼 성장 및 수렴 이론

초록

본 논문은 LoRA 방식으로 파라미터를 저차원으로 분해한 모델에 Muon 옵티마이저를 적용했을 때, 행렬 곱 AB의 특잇값이 거의 동일한 속도로 성장한다는 현상을 발견한다. 이를 설명하기 위해 연속시간 스펙트럴 그래디언트 흐름(SpecGF)을 분석하고, 모든 특잇값이 동일한 비율로 증가하는 “equal‑rate” 동역학을 증명한다. 또한, 적절한 정규화와 유한한 팩터 노름 가정 하에 SpecGF가 거의 모든 초기화에서 전역 최소점으로 수렴함을 보인다. 실험은 이론적 예측을 LLM 파인튜닝 및 단순 행렬 분해 실험에서 검증한다.

상세 분석

Muon은 모멘텀과 함께 그래디언트를 정규화·직교화하는 최신 옵티마이저로, 기존의 Adam·W와 달리 행렬 파라미터의 스펙트럼을 균등하게 만들며 수렴 속도를 높인다. LoRA는 사전학습된 가중치에 저차원 업데이트 AB를 삽입해 파라미터 수를 크게 줄이지만, 두 팩터 A와 B는 독립적으로 업데이트된다. 논문은 이 두 메커니즘이 결합될 때 나타나는 ‘특잇값의 균일 성장’ 현상을 처음으로 체계적으로 관찰한다.

이를 이론적으로 설명하기 위해 저자들은 SpecGD의 연속시간 버전인 SpecGF를 도입한다. SpecGF는 각 팩터의 그래디언트를 직교화 연산 T(·) 혹은 부드러운 버전 Tβ(·)로 변환한 뒤, ‑∇L에 적용한다. 핵심은 T가 모든 비영특잇값을 1로 정규화함으로써 팩터 업데이트가 방향은 유지하되 크기만 조절된다는 점이다. 이때 A·B의 특잇값 σi(t)는 A와 B의 스칼라 성분 a(t), b(t)·c(t) 등으로 분해될 수 있으며, 작은 초기화 γ→0이면 a(t)와 b(t)는 거의 동일한 속도로 성장한다.

Theorem 5.7(‘equal‑rate dynamics’)은 일반 r‑rank 상황에서도 모든 활성 특잇값이 동일한 미분 방정식 ˙σi = κ·(σ⋆−σi) 형태를 따른다고 증명한다. 여기서 σ⋆는 목표 행렬 Y의 특잇값이며, κ는 정규화된 학습률에 비례한다. 결과적으로 작은 σi가 먼저 목표값 σ⋆에 도달하고, 큰 σi는 뒤따라서 수렴한다. 이는 기존 Gradient Flow가 ‘큰 특잇값부터 단계적으로 학습’하는 현상과 정반대이다.

수렴 측면에서는 Theorem 6.2가 “팩터 노름이 유계이면 SpecGF는 거의 모든 초기화에서 전역 최소점으로 수렴한다”고 보인다. ℓ2 정규화가 추가되면 전역 수렴이 보장되고, 모든 전역 최소점이 라플라스 안정성을 갖는다(Prop 6.7).

실험에서는 (1) LLM(ROBERTA‑Base, LLaMA‑3.2‑1B) 파인튜닝 시 Muon이 LoRA 어댑터의 특잇값을 거의 평행하게 성장시키는 모습을 시각화하고, (2) 단순 행렬 분해 실험에서 SpecGF와 표준 GD의 특잇값 궤적을 비교한다. Muon/SpecGF는 균일 성장과 작은 특잇값의 조기 수렴을 확인시켰으며, AdamW·GD는 큰 특잇값에 편향된 학습을 보였다.

이 논문은 (i) Muon과 LoRA의 결합이 스펙트럼 구조를 균등하게 만들며, (ii) 이러한 현상이 수학적으로 ‘동일 비율 성장’이라는 강력한 동역학으로 설명될 수 있음을, (iii) 적절한 정규화 하에 전역 최적화 보장이 가능함을 입증한다. 결과적으로 대규모 언어 모델 파인튜닝에서 스펙트럼 균형을 통한 일반화 향상 가능성을 제시한다.