노이즈가 있는 관측으로부터 알 수 없는 에르고딕 동역학 시스템 예측을 위한 서포트 벡터 머신의 일관성

초록

본 논문은 관측 노이즈가 섞인 상태에서, 에르고딕이며 리프시츠 연속인 미지의 동역학 시스템을 예측하기 위해 가우시안 RBF 커널을 사용하는 서포트 벡터 머신(SVM)의 일관성을 증명한다. 노이즈 과정이 유계이며 α‑mixing 비율이 가산합을 만족하고, 시스템 자체가 리프시츠 연속이고 리프시츠 함수에 대한 상관감소가 가산합이면, 충분히 긴 관측 시계열만으로 최적 예측기를 학습할 수 있음을 보인다. 또한 α‑mixing보다 약한 혼합 조건을 만족하는 모든 확률 과정에 대해 일반적인 SVM 일관성 정리를 제시한다.

상세 분석

이 연구는 두 가지 핵심 가정을 통해 SVM 기반 예측기의 일관성을 확보한다. 첫 번째 가정은 관측 노이즈 과정이 유계이며 α‑mixing 속도가 (\sum_{k=1}^{\infty}\alpha(k)<\infty) 를 만족한다는 점이다. 이는 노이즈가 시간에 따라 충분히 빠르게 독립화된다는 의미이며, 기존의 강한 마코프 가정 없이도 확률적 의존성을 제어한다. 두 번째 가정은 동역학 시스템 자체가 리프시츠 연속인 전이 함수 (F:\mathcal{X}\to\mathcal{X}) ( (\mathcal{X}\subset\mathbb{R}^d) 은 콤팩트) 로 정의되고, 리프시츠 연속 함수에 대한 상관감소가 (\sum_{k=1}^{\infty}|\operatorname{Cov}(g\circ F^k, h)|<\infty) 와 같이 가산합을 이루는 것이다. 이는 시스템이 에르고딕하면서도 장기적인 메모리가 제한적임을 보장한다.

논문은 먼저 일반적인 혼합 개념을 도입한다. 기존 α‑mixing보다 약한 (\phi)-mixing 혹은 β‑mixing과 유사한 조건을 사용해, 확률 과정이 충분히 “약한 의존성”을 가질 경우 경험 위험(empirical risk)이 실제 위험(risk)으로 수렴함을 보인다. 이때 핵심 도구는 Rademacher 복잡도와 마르코프 부등식을 결합한 새로운 일반화 오차 경계이다.

그 다음, 가우시안 RBF 커널 (k(x,x’)=\exp(-\gamma|x-x’|^2)) 를 사용한 정규화된 위험 최소화 문제를 설정한다. 정규화 파라미터 (\lambda_n) 와 커널 폭 (\gamma_n) 를 관측 길이 (n) 에 따라 적절히 감소시키면, 학습된 함수 (f_n) 가 베이즈 위험 최소화 해에 수렴한다는 것을 보인다. 특히, (\lambda_n\sim n^{-\beta}) (0<β<1) 와 (\gamma_n\sim (\log n)^{\delta}) (δ>0) 와 같은 선택이 증명에 핵심적인 역할을 한다.

또한, 예측 목표를 “다음 관측값의 조건부 평균” 즉, (\mathbb{E}