복합 최적화를 위한 스무딩 확률적 경사법
본 논문은 기대값 형태의 부드러운 함수와 비부드러운 정규화 항으로 구성된 무제한 최적화 문제를 다룬다. 첫 번째 알고리즘은 일반적인 확률적 경사 하강법(SGD)을 적용하고, 비부드러운 항이 특정 구조를 가질 때는 스무딩 기법을 결합한 변형 알고리즘을 제안한다. 두 알고리즘 모두 수렴 속도 이론을 증명하고, 합성 데이터에 대한 정규화 선형 회귀 실험을 통해
초록
본 논문은 기대값 형태의 부드러운 함수와 비부드러운 정규화 항으로 구성된 무제한 최적화 문제를 다룬다. 첫 번째 알고리즘은 일반적인 확률적 경사 하강법(SGD)을 적용하고, 비부드러운 항이 특정 구조를 가질 때는 스무딩 기법을 결합한 변형 알고리즘을 제안한다. 두 알고리즘 모두 수렴 속도 이론을 증명하고, 합성 데이터에 대한 정규화 선형 회귀 실험을 통해 실효성을 확인한다.
상세 요약
논문은 먼저 목적함수를 f(x)=Eξ
📜 논문 원문 (영문)
🚀 1TB 저장소에서 고화질 레이아웃을 불러오는 중입니다...