교차검증 추정기의 집중 부등식과 경험적 위험 최소화기의 일반화 오차

초록

본 논문은 경험적 위험 최소화(ERM) 모델의 일반화 오차를 추정하는 교차검증(CV) 방법에 대해 새로운 집중 부등식을 제시한다. 일반 손실 함수와 유한 VC 차원을 갖는 함수 클래스에 대해, KR99식과 유사한 ‘sanity‑check’ 경계와 다양한 CV 스킴(LOO, k‑fold, hold‑out, leave‑ν‑out)의 일관성 및 수렴 속도를 분석한다. 특히 테스트 샘플 크기가 무한히 커질 필요 없이도 CV 추정기가 일관적임을 보이며, CV 절차 선택에 대한 실용적인 가이드라인을 제공한다.

상세 분석

이 연구는 경험적 위험 최소화(ERM) 프레임워크 하에서 교차검증(CV) 추정기의 일반화 오차에 대한 확률적 집중(concentration) 특성을 정량화한다. 먼저 손실 함수 ℓ(y,f(x))가