고차원 선형 모델에서 리지 회귀 일반화 교차 검증의 균일 일관성

초록

본 논문은 고차원 환경에서 실제 회귀함수가 선형이 아닐 경우에도 일반화 교차검증(GCV)이 리지 회귀의 튜닝 파라미터를 일관되게 선택한다는 이론적 결과를 제시한다. 지정된 후보 집합에 0 및 음수 값까지 포함하고, 지정오차의 2차 모멘트가 0으로 수렴하면 GCV는 외부 예측 위험을 균일하게 추정한다. 시뮬레이션을 통해 GCV‑튜닝 리지 회귀가 최적 튜닝과 거의 동등한 성능을 보이며, 잘못 지정된 모델에서도 Lasso보다 우수함을 확인하였다.

상세 분석

이 연구는 고차원( p/n → γ∈(0,∞) ) 상황에서 선형 모델이 실제 데이터 생성 과정과 불일치할 때, 일반화 교차검증(GCV)이 리지 회귀의 튜닝 파라미터 λ를 선택하는 과정이 일관성을 유지한다는 점을 증명한다. 기존 문헌(Hastie et al., 2022; Patil et al., 2021)은 모델이 정확히 선형이라고 가정하고 GCV의 균일 일관성을 보였지만, 본 논문은 회귀함수 f(x)와 선형 근사 xᵀβ₀ 사이의 지정오차 δ_i = f(x_i)−x_iᵀβ₀에 대해 E(δ_i²)=o(1)이라는 약한 조건만을 요구한다. 이는 “두 번째 모멘트가 0으로 수렴한다”는 의미이며, 실제 데이터에서 비선형 효과가 점차 약해지는 경우를 포괄한다.

주요 가정은 다음과 같다. (1) 오류 ϵ_i는 평균 0, 분산 σ², 4+η 차수의 유한 모멘트를 갖는 독립성; (2) 공분산 행렬 Σ은 양정정이며 고정된 상수 C_min, C_max 사이의 고유값을 가진다; (3) β₀는 E