가우시안 분포에서 임의 편향 ReLU 뉴런의 비현실적 학습

초록

본 논문은 입력이 표준 가우시안인 경우, 편향이 어떠하든 상관없이 하나의 ReLU 뉴런을 다항시간 통계 질의(SQ) 알고리즘으로 최적 손실의 상수 배 이하로 학습할 수 있음을 보인다. 또한 기존의 경사하강법 기반 CSQ 알고리즘은 이러한 상수 배 근사에 필요한 시간·표본이 지수적으로 커짐을 증명해, SQ와 CSQ 사이의 근본적인 차이를 드러낸다.

상세 분석

이 논문은 “agnostic learning”이라는 비현실적 설정에서, 편향(b)이 임의의 실수값을 가질 수 있는 ReLU 뉴런 σ(w·x + b)를 학습하는 문제를 다룬다. 입력 분포가 N(0, I_d)인 가우시안 마진을 가정하고, 손실은 평균 제곱오차 ½ E