뇌의 희소 연결이 만든 가법 함수 근사

본 논문은 뇌의 주요 피드포워드 회로(버섯체, 해마의 치아구, 소뇌 피질)에서 관찰되는 희소 연결성을 이론적으로 분석한다. 저자는 먼저 랜덤 피처 네트워크의 기본 개념을 소개한다. 입력 차원 l 에 대해 은닉층에 m개의 뉴런을 두고, 각 뉴런 i는 무작위 가중치 \(w_i\) 와 편향 \(b_i\) 로 정의된 비선형 변환 \(φ_i(x)=h(w_i^T x + b_i)\) 를 수행한다. 가중치와 편향을 i.i.d. 분포 µ 로 샘플링하면, 두 입력 x, x′ 에 대한 피처 내적 \(\frac{1}{m}φ(x)^T φ(x′)\) 가 m→∞ 일 때 기대값 \(\mathbb{E}