기억은 도움이 될까 해가 될까 사전 정보가 정하는 과적합 임계점
안내: 본 포스트의 한글 요약 및 분석 리포트는 AI 기술을 통해 자동 생성되었습니다. 정보의 정확성을 위해 하단의 [원본 논문 뷰어] 또는 ArXiv 원문을 반드시 참조하시기 바랍니다.
초록
이 논문은 과잉 파라미터화된 선형 회귀 모델에서 베이지안 사전 π의 Fisher 정보 Jπ와 분산 Vπ가 잡음 수준 σ²와 어떻게 비교되는가에 따라 훈련 오류가 0에 가까워야(기억 필요)하거나 σ²에 가까워야(과적합 해로움) 하는 두 가지 전이 현상을 보인다는 이론적 결과를 제시한다.
상세 분석
본 연구는 d≥n인 과잉 파라미터화 선형 모델 y = Xθ + N(0,σ²I)에서 θ∼π라는 베이지안 설정을 전제로 한다. 사전 π는 양의 연속 밀도를 가지며, 두 핵심 파라미터인 Fisher 정보 Jπ = E
댓글 및 학술 토론
Loading comments...
의견 남기기