함수공간 안정성 경계와 보간 학습 시스템의 일반화

초록

본 논문은 학습 과정을 함수공간상의 궤적으로 모델링하고, 단일 샘플 교체에 대한 민감도를 측정하는 계약성 전파 조건을 제시한다. 이 조건을 만족하면 얻어지는 스칼라 인증서(Cert)를 통해 안정성 기반 일반화 경계를 정량화한다. 또한, 보간(interpolation) 상황에서도 위험이 낮지만 계약성 조건을 만족하지 못하는 사례를 구성해 안정성이 보편적 설명이 아님을 증명한다. 실험에서는 다양한 옵티마이저, 학습률, 데이터 변형에 대해 인증서 성장률이 일반화 차이를 예측함을 확인한다.

상세 분석

이 논문은 기존의 파라미터 수준 안정성 분석을 탈피해, 예측 함수 자체를 직접 다루는 함수공간 관점을 도입한다. 핵심 아이디어는 두 인접 데이터셋 S와 S′에 대해 동일한 난수 U를 공유함으로써 얻는 두 학습 궤적 {f_t(S,U)}와 {f_t(S′,U)} 사이의 차이를 비음수 함수 d(f,g)로 측정하는 것이다. 여기서 d는 손실 차이를 상한하는 Lipschitz 상수 L_d와 연결된다(식 3.1).

논문은 “계약성 프로파일”(a_t, b_t)을 정의한다. a_t은 기존 차이가 얼마나 증폭·수축되는지를, b_t은 현재 단계에서 새롭게 주입되는 차이를 나타낸다. 이 두 값이 (3.2) Δ_{t+1} ≤ a_t Δ_t + b_t 를 만족하면, 재귀적으로 전개한 인증서 Cert_T = Σ_{t=0}^{T-1} (∏_{k=t+1}^{T-1} a_k) b_t 가 최종 차이 Δ_T의 상한이 된다(Lemma 4.1). 따라서 β_T = L_d Cert_T 가 바로 안정성 수준이며, 기대 일반화 갭은 E_S