단일 뉴런을 그래디언트 방법으로 학습하기: 일반 분포와 활성화 함수에 대한 새로운 이론
본 논문은 실현 가능한 설정에서 단일 뉴런 \(x\mapsto\sigma(w^{\top}x)\) 을 표준 그래디언트 기반 알고리즘으로 학습할 수 있는 조건을 탐구한다. 입력 분포와 활성화 함수에 대한 최소한의 가정이 필요함을 부정적 예시로 보이며, “분산이 충분히 퍼져 있다”와 “약한 단조성”이라는 완화된 가정 하에, 무작위 초기화와 작은 학습률을 사용한 경사 하강법, 확률적 경사 하강법, 그리고 연속형 그래디언트 흐름이 일정 확률 혹은 높은 …
저자: ** 제공되지 않음 (논문에 저자 정보가 명시되지 않았습니다) **
본 논문은 “단일 뉴런 학습”이라는 가장 기본적인 비선형 신경망 모델을 표준 그래디언트 기반 최적화 알고리즘으로 언제, 어떻게 성공적으로 학습할 수 있는지를 체계적으로 조사한다. 문제 설정은 입력이 분포 \(D\) 에서 i.i.d.로 샘플링되고, 목표 출력이 \(y=\sigma(v^{\top}x)\) (또는 독립적인 평균 0 잡음이 추가된 형태)인 실현 가능한(realisable) 상황이다. 학습자는 파라미터 \(w\) 를 조정해 평균 제곱 손실 \(F(w)=\mathbb{E}_{x\sim D}\big
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기