고차원에서 ALO‑CV와 평균장 추정의 동시 분석

초록

본 논문은 고차원 비례적 상황(p/n 일정)에서 가우시안 설계와 강한 볼록성을 가정한 비미분 정규화 함수에 대해 Approximate Leave‑One‑Out Cross‑Validation(ALO‑CV)의 일관성을 증명한다. ALO‑CV와 평균장(mean‑field) 추정 사이의 가중치 차이를 조건부 기대값을 이용해 제어하고, 평균장 결과와 결합해 ALO‑CV가 실제 Leave‑One‑Out(Loo)와 차이가 무시할 수 있을 정도임을 보인다. 선형 회귀, 강인 회귀, 단일 지수 모델을 구체적으로 다룬다.

상세 분석

이 논문은 고차원 비례적 극한(p/n→δ∈(0,1))에서 정규화된 추정량 ˆb=arg min ∑{i=1}^n L{y_i}(x_i^T b)+R(b)의 일반화 오차를 효율적으로 추정하는 두 방법, ALO‑CV와 평균장 추정(mean‑field inference)을 동시에 분석한다. 기존 ALO‑CV 이론은 L와 R이 두 번 미분 가능하고, 특히 L의 헤시안이 존재할 때만 적용 가능했으며, 비미분 정규화(예: L1, elastic‑net)에서는 지원 집합의 안정성 가정이 필요했다. 저자는 이러한 제한을 없애고, 가우시안 설계와 R이 (nμ,Σ)‑강볼록성을 만족하면, ALO‑CV의 뉴턴 단계(식 1.6)가 평균장 추정에 등장하는 행렬 ˆA와 동일함을 보인다. 핵심은 Proposition 1.1으로, ˆb가 거의 모든 x에 대해 미분 가능하고 ∂ˆb/∂x_{ij}=ˆA(−e_j L’_{y_i}(x_i^Tˆb)−X^T D e_i ˆb_j)임을 증명한다. 여기서 D는 L’’(·)의 대각 행렬이며, ˆA는 (X^T D X+∇^2R(ˆb))^{-1}와 같은 형태를 갖는다(비미분 경우에도 활성 집합이 고정된다는 전제 하에 동일한 표현이 가능).

이 미분식으로부터 Leave‑One‑Out 추정량 b_i와 ˆb 사이의 차이 B_i:=x_i^Tˆb−x_i^T b_i를 Stein의 2차 공식으로 제어한다. 결과적으로
\