부드러운 활성화와 고정 깊이 신경망의 매끄러움 적응성

본 논문은 무한히 미분 가능한 부드러운 활성화 함수를 사용한 고정 깊이(6~7층) 완전 연결 신경망이 폭만 늘려도 Sobolev 공간 \(W^{s,\infty}(

저자: Yuhao Liu, Zilin Wang, Lei Wu

부드러운 활성화와 고정 깊이 신경망의 매끄러움 적응성
본 논문은 현대 딥러닝에서 널리 사용되는 부드러운 활성화 함수가 이론적으로 어떤 이점을 제공하는지를 체계적으로 분석한다. 연구 대상은 Sobolev 공간 \(W^{s,\infty}(

원본 논문

고화질 논문을 불러오는 중입니다...

댓글 및 학술 토론

Loading comments...

의견 남기기