다중 위험 최소화자 존재 시 ERM 안정성의 위상 전이

초록

Kutin과 Niyogi가 제시한 알고리즘 안정성 개념을 바탕으로, 유한 가설공간에서 위험 최소화자가 하나만 존재할 때는 ERM이 샘플 크기에 대해 지수적으로 훈련 안정성을 보인다. 반면 위험 최소화자가 여러 개일 경우, 훈련 안정성은 초이차수 수렴조차 보장되지 않는다. 본 논문은 이를 CV‑안정성이라는 약한 형태로 증명하여, 다중 위험 최소화자가 존재하면 훈련 안정성이 급격히 악화된다는 기존의 추측을 확정한다.

상세 분석

본 연구는 경험적 위험 최소화(ERM) 알고리즘의 안정성 특성을 두 가지 주요 관점에서 재조명한다. 첫 번째는 Kutin·Niyogi가 정의한 **훈련‑안정성(training‑stability)**이며, 두 번째는 보다 약한 **교차‑검증‑안정성(CV‑stability)**이다. 훈련‑안정성은 학습 알고리즘이 하나의 훈련 샘플을 교체했을 때 출력 가설의 손실이 얼마나 변하는지를 측정한다. CV‑안정성은 동일한 교체에 대해 기대 손실의 차이가 작은지를 평가한다. 두 개념 모두 알고리즘의 연속성에 대한 확률적 해석이지만, CV‑안정성은 기대값 수준에서만 요구되므로 훈련‑안정성보다 약한 조건이다.

Kutin·Niyogi는 유한 가설공간 (\mathcal{H})가 단일 위험 최소화자(즉, (\arg\min_{h\in\mathcal{H}} R(h))가 하나)만을 포함할 때, ERM이 지수적 훈련‑안정성을 갖는 것을 증명하였다. 구체적으로, 샘플 크기 (m)에 대해 (\Pr\bigl