AdaLRS: 손실 기울기로 찾는 효율적인 학습률 자동조정

초록

AdaLRS는 훈련 손실과 손실 감소 속도의 볼록성을 이용해, 별도 탐색 없이 단일 학습 과정에서 최적 학습률을 찾아내는 플러그인‑인 알고리즘이다. 손실 기울기 변화를 실시간으로 추정·비교해 학습률을 확대·축소하고, 이론적 수렴 보장과 기하급수적 오류 감소를 입증한다. LLM·VLM 사전학습 실험에서 기존 설정 대비 손실 감소와 최종 성능이 크게 향상되었으며, 모델 규모·스케줄러·하이퍼파라미터 변화에도 강인한 일반성을 보인다.

상세 분석

AdaLRS는 “학습률(LR)과 손실 감소 속도(V)의 최적점이 동일하다”는 가설을 중심으로 설계되었다. 논문은 먼저 SGD 기반의 단순 모델을 가정하고, 기대 손실 감소량 E