드리프트 인식 온라인 비선형 회귀를 위한 DAO GP

초록

DAO‑GP는 개념 드리프트를 실시간으로 감지하고, 하이퍼파라미터를 자동으로 조정하며, 희소화와 메모리 감소를 동시에 구현한 온라인 Gaussian Process 회귀 모델이다. 실험 결과, 정적 데이터와 다양한 유형의 드리프트(급격, 점진, 완만) 상황 모두에서 기존 최신 모델들을 능가하거나 동등한 성능을 보였다.

상세 분석

본 논문은 온라인 비선형 회귀에서 가장 흔히 발생하는 개념 드리프트 문제를 근본적으로 해결하고자 한다. 기존 온라인 GP는 고정된 커널 하이퍼파라미터와 정적인 인덕팅 포인트 집합을 사용해, 데이터 분포가 변할 때 모델이 급격히 성능 저하를 겪는다. DAO‑GP는 이러한 한계를 네 가지 축으로 해소한다. 첫째, 드리프트 감지를 위해 예측 불확실성(예: 예측 분산)과 실제 관측값 사이의 차이를 실시간 통계량으로 모니터링한다. 이 통계량이 사전 정의된 임계값을 초과하면 ‘드리프트 경고’를 발생시키고, 모델 내부 파라미터(예: 커널 길이 척도, 노이즈 레벨)를 베이지안 업데이트 방식으로 재조정한다. 둘째, 하이퍼파라미터를 완전 자동화하기 위해 변분 베이지안 추정과 온라인 라플라스 근사를 결합한다. 이를 통해 사용자는 사전 지식 없이도 모델이 스스로 최적의 파라미터를 탐색한다. 셋째, 메모리 효율성을 위해 오래된 데이터에 지수적 감쇠(weight decay)를 적용하고, 감쇠된 데이터는 인덕팅 포인트 후보군에서 자동으로 제외한다. 이 과정은 ‘희소화(스파싱)’와 동시에 수행돼, 메모리 사용량을 O(N)에서 O(M) (M≪N) 수준으로 낮춘다. 넷째, 인덕팅 포인트 자체를 동적으로 업데이트한다. 드리프트가 감지되면 기존 포인트를 재샘플링하거나 새로운 포인트를 삽입해, 모델이 최신 데이터 구조를 반영하도록 설계되었다. 실험에서는 합성 데이터와 실제 스트리밍 데이터(전력 소비, 주가, 센서 시계열 등)를 사용해 급격, 점진, 완만 드리프트 시나리오를 재현하였다. DAO‑GP는 평균 절대 오차(MAE), 평균 제곱 오차(MSE), 그리고 예측 신뢰구간 커버리지 측면에서 기존 온라인 GP, 온라인 SVR, 그리고 최신 딥러닝 기반 스트리밍 회귀 모델보다 일관되게 우수한 결과를 보였다. 특히, 드리프트가 강하게 발생하는 구간에서 모델이 빠르게 적응하면서도 과적합을 방지하는 점이 눈에 띈다. 전체적으로 DAO‑GP는 드리프트 인식, 자동 하이퍼파라미터 튜닝, 메모리 효율성, 그리고 희소 인덕팅 포인트 관리라는 네 가지 핵심 요소를 통합함으로써, 실시간 비선형 회귀 분야에 새로운 패러다임을 제시한다.