반복 경험 위험 최소화의 고차원 비대칭 이론과 능동 학습 활용

초록

본 논문은 동일 데이터셋을 두 차례 연속으로 ERM에 적용하는 “반복 ERM”을 고차원(샘플 수와 차원 비례) 환경에서 엄밀히 분석한다. 첫 단계 추정기의 예측값이 두 번째 단계 손실에 직접 들어가면서 발생하는 복잡한 종속성을 잔여-하나-아웃 기법으로 다루고, 선형 모델과 볼록 손실, 가우시안 혼합 데이터에 대해 테스트 오류의 정확한 asymptotic 표현식을 제시한다. 이를 바탕으로 풀 기반 능동 학습에서 라벨링 예산을 두 단계에 어떻게 배분해야 최적 성능을 얻는지 이론적으로 규명하고, 데이터 선택에 의해 발생하는 이중 하강(double‑descent) 현상을 발견한다.

상세 분석

논문은 먼저 반복 ERM의 수학적 정의를 제시한다. 첫 번째 단계에서는 일반적인 정규화된 경험 위험 (\hat R_0(w)=\frac1n\sum_{i=1}^n\ell_0(\langle w,x_i\rangle,\langle\beta,x_i\rangle,c_i,\varepsilon_i)+\frac{\lambda_0}{2}|w|^2) 를 최소화해 (\hat w_0)를 얻고, 두 번째 단계에서는 손실 (\ell(\langle w,x_i\rangle,\langle\hat w_0,x_i\rangle,\langle\beta,x_i\rangle,c_i,\varepsilon_i)) 에 (\hat w_0)의 예측값이 직접 들어가므로 각 샘플 손실이 전체 데이터셋에 의존한다는 점이 핵심 난점이다. 기존 고차원 ERM 이론은 독립적인 샘플 손실을 전제로 한 반면, 여기서는 이 상호 의존성을 정밀히 제어하기 위해 “Leave‑One‑Out”(LOO) 근사를 두 번 중첩한다. 첫 번째 LOO는 (\hat w_0)를 데이터 하나를 제외하고 계산한 (\hat w_0^{(-i)})와의 차이를 분석하고, 두 번째 LOO는 (\hat w)에 대해 동일한 절차를 적용한다. 이를 통해 각 단계의 잔차와 예측값이 가우시안으로 근사된다는 중요한 결과를 얻는다.

고차원 극한 (n,d\to\infty)에서 비율 (\alpha=n/d)가 일정하다고 가정하고, 가우시안 혼합 모델 ({x_i\sim\mathcal N(\mu_{c_i},I_d)})와 임의의 유한 클래스 집합을 고려한다. 주요 정리(Theorem 2.1)는 테스트 메트릭 (E_{\text{gen}}=\mathbb E_{x,c,\varepsilon}L(\langle\hat w,x\rangle,\langle\beta,x\rangle,c,\varepsilon)) 가 1‑Lipschitz 손실에 대해 다음과 같이 수렴함을 보인다.
\