깊은 다항 신경망의 표현력과 차원 분석
본 논문은 다항 활성함수를 갖는 깊은 신경망을 대수기하학적 관점에서 연구한다. 네트워크 구조와 활성 차수에 따라 정의되는 함수 공간을 하나의 대수다양체로 보고, 그 차원을 네트워크의 표현력 척도로 제안한다. 차원 공식, 채움(filling) 조건, 그리고 최적화와 텐서 분해와의 연관성을 이론적으로 규명한다.
저자: Joe Kileel, Matthew Trager, Joan Bruna
본 논문은 다항 활성함수 \( \rho_{r}(z)=z^{r}\) (정수 \(r\ge 1\))를 사용하는 깊은 신경망을 수학적으로 정밀 분석한다. 네트워크는 입력 차원 \(d_{0}\) 부터 출력 차원 \(d_{h}\) 까지 \(h\) 개의 은닉층을 갖으며, 각 층의 폭을 \(d_{i}\) 로 표기한다. 가중치 행렬 \(W_{i}\in\mathbb{R}^{d_{i}\times d_{i-1}}\) 를 매개변수로 하는 네트워크 함수는
\
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기