스텝 사이즈 안정성에 대한 이론적 고찰
안내: 본 포스트의 한글 요약 및 분석 리포트는 AI 기술을 통해 자동 생성되었습니다. 정보의 정확성을 위해 하단의 [원본 논문 뷰어] 또는 ArXiv 원문을 반드시 참조하시기 바랍니다.
초록
본 논문은 확률적 최적화 알고리즘의 학습률(스텝 사이즈) 민감도를 이론적으로 분석한다. 핵심으로 제시된 “안정성 지수”가 스텝 사이즈가 커질 때 성능 저하를 정량화하며, 이를 통해 적응형 스텝 사이즈 방법인 SPS와 NGN이 기존 SGD보다 더 큰 학습률에서도 안정적으로 동작함을 증명한다. 또한 실험을 통해 비볼록 문제에서도 제시된 이론적 경계가 실제 성능을 잘 예측함을 확인한다.
상세 분석
논문은 먼저 확률적 최적화 문제 ( \min_{x\in\mathbb{R}^d} f(x)=\mathbb{E}_s
댓글 및 학술 토론
Loading comments...
의견 남기기