LoRA 학습률 스케일링과 전체 파인튜닝 전이
안내: 본 포스트의 한글 요약 및 분석 리포트는 AI 기술을 통해 자동 생성되었습니다. 정보의 정확성을 위해 하단의 [원본 논문 뷰어] 또는 ArXiv 원문을 반드시 참조하시기 바랍니다.
초록
LoRA 파라미터 효율 파인튜닝에서 학습률은 어댑터 랭크와 초기화 방식에 따라 크게 달라진다. 본 논문은 Maximal‑Update Adaptation(μA) 이론을 도입해 모델 폭과 랭크에 대한 최적 학습률 스케일링을 정량화하고, 두 가지 스케일링 규칙(랭크에 역비례하거나 불변)을 제시한다. 특히 Init
상세 분석
본 연구는 LoRA 파인튜닝의 학습률‑랭크 상호작용을 이론적으로 규명한다. 먼저 LoRA 레이어를 $W=W^{\ast}+αBA$ 로 정의하고, 두 가지 초기화 전략인 Init
댓글 및 학술 토론
Loading comments...
의견 남기기