비정상 가중 위험 최소화의 빠른 수렴률

초록

본 논문은 시간에 따라 변하는 데이터 분포(드리프트) 하에서 가중 경험 위험 최소화(Weighted ERM)의 일반화 오차를 분석한다. 저자들은 과잉 위험을 “학습 오차”와 “드리프트 오차”로 분해하고, β‑mixing·ρ‑mixing 의존성을 가정한 빠른 수렴률(oracle inequality)을 제시한다. 가중치 클래스 전반에 걸친 균일한 경계와, 가중치에 따라 달라지는 가설 클래스의 복잡도를 동시에 고려한다. 선형 회귀, 기저 함수 전개, 신경망 등 여러 예시에서 최소화된 속도는 기존 결과보다 우수하며, 정규(무가중)·정상 상황에서는 최소극한(minimax) 최적률을 복구한다.

상세 분석

논문은 먼저 비정상(non‑stationary) 데이터 흐름을 다루기 위해 가중치 벡터 w∈ℝⁿ을 도입하고, 가중 경험 위험 Rᵂₙ(h)=∑_{t=1}ⁿ w_t L(X_t,h) 를 최소화하는 가중 ERM ĥ_w를 정의한다. 핵심 아이디어는 과잉 위험을
E