단순 프로그램 데이터에서 신경망의 일반화

초록

이 논문은 ReLU 기반 피드포워드 신경망이 짧은 프로그램으로 생성된 저복잡도 데이터에 대해 최소 설명 길이(MDL) 원칙을 적용하면 높은 확률로 일반화한다는 이론을 제시한다. 특히 소수 판별과 같은 계산 작업을 예시로 들어, n개의 무작위 샘플만으로도 새로운 입력에 대한 오류율이 O((ln N)/n) 수준으로 감소함을 보인다.

상세 분석

본 연구는 “Simple Neural Programs”(SNP)라는 제한된 프로그래밍 언어를 정의하고, 각 SNP를 ReLU 피드포워드 신경망으로 정확히 인코딩할 수 있음을 증명한다. SNP는 변수 선언, 입력, 정수·불리언 초기화, 기본 연산, 조건·반복문 등을 포함하지만, 프로그램 길이 L과 변수 수 V가 제한된 경우에만 다룬다. 저자들은 SNP P를 구현하는 신경망 F_{P,N}이 입력 공간