온라인 알고리즘의 종속 데이터 일반화 능력
본 논문은 β‑mixing 혹은 φ‑mixing과 같은 약한 의존성을 갖는 ergodic 과정에서 수집된 데이터에 대해, 안정적인 온라인 학습 알고리즘이 보이는 일반화 성능을 분석한다. 알고리즘의 누적 레그레드가 작을 경우, 일반화 오차가 레그레드와 고확률로 근접함을 보이며, 특히 강하게 볼록한 손실 함수와 선형 예측 모델(선형 회귀, 로지스틱 회귀, 최소제곱 SVM, 부스팅 등)에 대해 빠른 수렴률과 편차 경계를 제시한다. 증명은 마팅게일 수…
저자: Alekh Agarwal, John C. Duchi
본 논문은 “온라인 알고리즘이 종속 데이터에 대해 얼마나 일반화될 수 있는가”라는 근본적인 질문에 답하고자 한다. 저자들은 먼저 데이터가 β‑mixing 혹은 φ‑mixing이라는 약한 의존성 조건을 만족하는 ergodic 과정에서 생성된다고 가정한다. 이때, 전통적인 i.i.d. 가정이 깨지므로 기존의 온라인‑to‑batch 변환 결과가 바로 적용되지 않는다. 따라서 새로운 분석 틀을 구축한다.
1. **문제 설정 및 기본 가정**
- 데이터 시퀀스 {xₜ}는 확률 과정 P에 의해 생성되며, 단일 시점 마진 분포가 시간에 따라 정역분포 Π에 수렴한다.
- 손실 함수 F(w;x)는 모든 x에 대해 convex하고 G‑Lipschitz이며, 파라미터 공간 W는 컴팩트하고 반경 R을 가진다.
- 추가적으로, 기대 손실 f(w)=E_Π
원본 논문
고화질 논문을 불러오는 중입니다...
댓글 및 학술 토론
Loading comments...
의견 남기기