과잉 파라미터화에서 모델 붕괴 방지: 최적 혼합 비율과 일반화 오차 분석

초록

본 논문은 과잉 파라미터화된 선형 회귀에서 실제 라벨과 이전 단계 모델이 생성한 합성 라벨을 혼합해 학습하는 반복 스킴을 분석한다. 최소 ℓ₂-노름 보간과 릿지 회귀에 대해 일반화 위험의 정확한 극한식을 도출하고, 장기 예측 오차를 최소화하는 최적 혼합 비율을 밝혀낸다. 보간 경우 최적 실데이터 비율은 황금비의 역수(φ⁻¹)이며, 릿지 경우는 모든 설정에서 최소 ½ 이상이어야 함을 증명한다. 또한 다양한 변형 설정에서 모델 붕괴의 발생 조건을 규명하고, 시뮬레이션으로 이론을 검증한다.

상세 분석

논문은 과잉 파라미터화(p>n, p/n→γ>1) 상황에서 매 반복마다 실제 라벨 yₜ와 이전 단계 추정기 β̂ₜ₋₁을 이용해 생성된 합성 라벨 ŷₜ를 w:(1−w) 비율로 섞어 새로운 추정기 β̂ₜ를 계산한다. 이 과정은 최소 ℓ₂-노름 보간(λ→0)과 일반 릿지(λ>0) 두 경우에 대해 분석된다. 주요 가정은 공분산 Σ가 유계 고유값을 갖는 일반적인 분포이며, 입력 행렬 X=ZΣ^{1/2}에서 Z의 원소는 독립, 평균 0, 단위 분산, 4차 이상의 유한 모멘트를 가진다. 노이즈는 평균 0, 분산 σ²의 i.i.d. 가정이다.

Theorem 3.1은 보간 추정기의 위험 R(β̂ₜ)의 t→∞, n→∞ 극한을 σ²c(w)V + bB 형태로 제시한다. 여기서 V와 B는 Stieltjes 변환 m(z)와 그 도함수 m′(0) 및 신호-노이즈 비 b에 의해 정의되며, c(w)=(w²+(1−w)²)/(w(2−w))는 혼합 비율에만 의존한다. c(w)는 w=φ⁻¹(φ= (1+√5)/2)에서 최소가 되며, 이는 실데이터 비율이 황금비의 역수일 때 장기 분산이 최소화된다는 의미다. 편향 B는 w와 무관하게 고정된다.

Ridge 경우, Theorem 3.2와 3.3은 무등방향(Σ=I) 및 스파이크 공분산 모델에서 위험이 로그-볼록함을 보이며, 최적 w가 존재함을 증명한다. 특히 isotropic 상황에서는 위험이 σ²c(w)/(γ−1)+b·(1−1/γ) 형태로 단순화되고, c(w) 최소화 조건이 w*≥½임을 보여준다. Random‑effects와 spiked‑covariance 모델에서도 스펙트럼 H와 신호 분포 G에 대한 Stieltjes 변환을 이용해 동일한 결론을 얻는다.

추가로 논문은 (i) 실데이터 고정, 라벨 갱신 없음, (ii) 공변량이 매 반복마다 새로 고침되지만 실라벨은 매번 제공, (iii) 공변량은 변하지만 실라벨은 일부만 제공하는 세 변형 시나리오를 다룬다. 각 경우에 대해 위험 식을 재구성하고, w가 충분히 크지 않으면 위험이 발산해 모델 붕괴가 불가피함을 보인다.

시뮬레이션에서는 다양한 γ, Σ 스펙트럼, 신호 강도 설정에서 이론적 최적 w와 실제 위험 감소를 비교한다. 실험 결과는 이론적 예측과 일치하며, 특히 w≈φ⁻¹일 때 보간 모델이 가장 안정적으로 수렴하고, 릿지에서는 w≥½이 실데이터를 충분히 활용할 때만 위험이 감소함을 확인한다.

이러한 분석은 기존 저차원·가우시안 제한을 넘어 고차원·일반 공분산 상황에서도 모델 붕괴를 예방할 수 있는 정량적 가이드를 제공한다.