교차검증에서 SURE까지 조정된 정규화 추정기의 점근 위험 분석

본 논문은 n‑fold 교차검증(CV)으로 튜닝된 정규화 경험위험 최소화(ERM) 추정기의 예측 손실이 정규 평균 모델에서 Stein의 무편향 위험 추정량(SURE)으로 튜닝된 수축 추정기의 제곱오차 손실 분포로 수렴한다는 점을 보인다. 이를 통해 위험 함수를 파라미터 의존적으로 정량화하고, CV와 SURE 사이의 균일 수렴 및 전역 최소점의 잘 구분됨을 증명한다.

저자: Karun Adusumilli, Maximilian Kasy, Ashia Wilson

본 논문은 정규화된 경험위험 최소화(ERM) 추정기를 n‑fold 교차검증(CV)으로 튜닝했을 때, 그 예측 손실의 점근적 행동을 정밀히 규명한다. 연구는 크게 네 부분으로 전개된다. 1. **문제 설정 및 로컬 스케일링** 저자들은 파라미터 β를 √n 배 스케일링한 θ=√n·β를 도입한다. 이는 진짜 파라미터가 0에 가까워지면서도 편향과 분산이 동시에 1차 수준으로 남는 “drifting‑to‑0” 프레임워크다. 이 스케일링 하에서 손실 함수 l(β,z)를 l_n(θ,z)=l(θ/√n,z)로 변환하고, 경험위험 L_n(θ)=∑_{i=1}^n l_n(θ,Z_i)와 기대손실 \bar L_n(θ,θ₀)=E

원본 논문

고화질 논문을 불러오는 중입니다...

댓글 및 학술 토론

Loading comments...

의견 남기기