안정성 정규화 교차 검증

초록

본 논문은 교차 검증 과정에서 발생하는 적합도와 테스트 성능 사이의 적응 격차를 완화하기 위해, 모델의 가설 안정성( hypothesis stability) 측정을 추가한 가중합 목표 함수를 사용한다. 가중치 자체를 중첩 교차 검증으로 선정함으로써, 불안정한 모델(희소 릿지 회귀, CART)에서 테스트 오차를 평균 4 %·2 % 정도 감소시키고, 검증 오차와 실제 테스트 오차 간의 실망도를 크게 줄인다.

상세 분석

이 연구는 기존 교차 검증(k‑fold CV)이 하이퍼파라미터 선택 시 검증 오차를 최소화하는 데 집중하지만, 검증 오차 자체가 확률 변수이며 표본이 제한될 경우 과적합 위험이 존재한다는 점을 지적한다. 특히 “적응 격차”(validation error < test error) 현상이 나타나는 경우, 검증 세트에서 최적화된 하이퍼파라미터가 실제 테스트에서 실망을 초래한다는 ‘옵티마이저의 저주’를 강조한다.
논문은 Bousquet & Elisseeff(2002)의 가설 안정성 개념을 k‑fold CV에 일반화하고, 이를 기반으로 다음과 같은 일반화 경계식을 도출한다.
\