교차검증으로 모델 비교 시 상대적 불안정성: 라쏘와 소프트 임계값의 함정

초록

본 논문은 교차검증(CV)이 개별 알고리즘은 안정적이더라도 두 알고리즘을 비교할 때는 상대적 불안정성을 보일 수 있음을 이론적으로 증명한다. 특히 선형 회귀에서 라쏘와 그 근사인 소프트‑임계값(Soft‑Thresholding) 추정기를 대상으로, 동일한 데이터 분포와 적절한 정규화 파라미터 설정에서도 비교를 위한 손실 차이 함수가 상대적 손실 안정성 조건을 위배함을 보인다. 결과적으로 CV 기반 신뢰구간은 단일 모델의 테스트 오차는 정확히 추정하지만, 두 모델 간 차이는 크게 언더커버되며, 이는 실무에서 CV를 이용한 모델 비교 시 상대적 안정성을 반드시 검증해야 함을 강조한다.

상세 분석

논문은 먼저 알고리즘 안정성의 두 축을 구분한다. 기존 연구가 다루는 ‘절대적’ 안정성은 단일 알고리즘이 데이터 샘플을 약간 바꿨을 때 손실이 얼마나 변하는지를 측정한다. 반면 저자는 ‘상대적 손실 안정성’ r(hₙ) 을 정의하여, 두 알고리즘의 손실 차이 h_diffₙ 에 대해 n·γ(hₙ)/σ²(hₙ) 가 0으로 수렴하는지를 확인한다. 여기서 γ 은 두 데이터셋(원본과 한 샘플 교체) 사이의 손실 차이의 변동성을, σ² 는 손실 자체의 변동성을 나타낸다. 상대적 안정성 조건 r(hₙ)=o(1) 은 CV 중심극한정리와 일관된 분산 추정이 성립하기 위한 충분조건이다.

주요 이론적 결과는 두 정리로 요약된다. 정리 3.1은 소프트‑임계값 추정기 ST(λₙ)와 ST(λₙ+δₙ) (λₙ=O(√n), δₙ=Θ(1)) 사이의 비교가 상대적으로 불안정함을 보인다. 구체적으로 n²δₙ²σ²(h_diffₙ)→4τ²‖β*‖₀ 이면서 γ(h_diffₙ)=Ω(1/(n²√n)) 이므로 r(h_diffₙ)=Ω(√n) 으로 o(1) 조건을 위반한다. 반면 정리 3.2는 동일한 ST 알고리즘을 단일 평가에 사용할 때는 σ²(h_singₙ)→2τ⁴, γ(h_singₙ)∼C/n² 이 되어 r(h_singₙ)=O(1/n) 즉 o(1) 을 만족한다. 즉, 개별 모델은 안정하지만 두 모델의 차이는 불안정하다.

라쏘에 대해서도 동일한 현상이 성립한다. 레마 2.3을 이용해 ST 와 Lasso 의 추정값 차이가 ‖XᵀX/n−I‖_op 에 의해 제어됨을 보이고, 이를 정리 3.3·3.4에 적용한다. 라쏘 비교 역시 r(·)=Ω(√n) 으로 불안정하지만, 단일 라쏘 평가는 r(·)=o(1) 을 만족한다.

실험 섹션에서는 k‑fold CV와 부트스트랩을 이용해 신뢰구간 커버리지를 평가한다. 단일 ST/Lasso 의 테스트 오차에 대한 95% 신뢰구간은 표본 크기가 중간 정도일 때도 목표 커버리지를 달성하지만, 두 모델 간 차이에 대한 신뢰구간은 심각히 언더커버된다. 이는 이론적 결과와 일치한다.

이 논문의 함의는 두드러진다. 첫째, CV를 이용해 모델 비교를 수행할 때는 개별 모델의 안정성만으로는 충분하지 않으며, 비교 자체의 상대적 안정성을 검증해야 한다. 둘째, 정규화 파라미터가 √n 규모일 때 불안정성이 가장 두드러지므로, 하이퍼파라미터 튜닝 과정에서도 주의가 필요하다. 셋째, 기존의 평균‑제곱 손실 안정성(Mean‑Square Stability)이나 균일 안정성(Uniform Stability)과는 별개로, 차이 함수의 분산이 급격히 작아지는 상황에서 중앙극한정리 전제가 깨질 수 있음을 보여준다. 마지막으로, 이 결과는 라쏘와 같은 ℓ₁ 정규화 방법뿐 아니라, 유사한 임계값 기반 방법 전반에 적용될 가능성이 크다.