적응형 과잉적합을 활용한 온라인 시계열 예측

초록

본 논문은 과잉 파라미터화된 상황에서도 안정적으로 동작하는 QR 기반 지수 가중 RLS(QR‑EWRLS)를 제안한다. 랜덤 푸리에 피처와 잊음 계수를 결합해 비정상적인 시계열을 온라인으로 학습하며, 수치적 발산을 방지하고 이중 하강(double‑descent) 현상을 재현한다. 실험 결과 외환·전력 수요 예측에서 기존 커널 방법과 동등한 정확도를 보이면서 20~40%의 속도 향상을 달성한다.

상세 분석

ABO(Adaptive Benign Overfitting)는 과잉 파라미터화된 모델이 일반화 오류를 감소시킬 수 있다는 ‘선량한 과잉적합(benign overfitting)’ 이론을 온라인 필터링에 접목한 시도이다. 핵심 아이디어는 전통적인 공분산 형태의 RLS가 수치적으로 불안정해지는 원인을 QR 분해를 이용한 직교‑삼각 형태의 업데이트로 대체하는 것이다. 구체적으로, 입력 데이터를 랜덤 푸리에 피처(RFF)로 매핑해 고차원 선형 모델을 구성하고, 지수 가중을 적용한 손실 함수

\