랜덤 은닉 노드 신경망의 파라미터 생성 개선: 비선형 구간 확보와 기울기 각도 균등화

본 논문은 기존의 피드포워드 신경망에서 은닉 노드의 가중치와 편향을 동일한 구간의 균등분포로 무작위 선택하는 방식의 한계를 지적하고, 비선형 구간을 입력 하이퍼큐브 안에 배치하도록 파라미터를 생성하는 새로운 방법을 제안한다. 또한 시그모이드의 기울기 각도를 균등하게 분포시키는 절차를 제시하여 과적합 위험을 감소시킨다. 실험 결과는 제안 방법이 적은 수의 은닉 노드로도 높은 정확도를 달성함을 보여준다.

저자: Grzegorz Dudek