지연 피드백을 극복한 온라인 시계열 예측을 위한 특징 조정

초록

본 논문은 온라인 시계열 예측에서 발생하는 분포 이동과 다단계 예측 시의 지연 피드백 문제를 해결하기 위해, 모델 파라미터가 아닌 잠재 요인을 나타내는 특징 공간을 직접 조정하는 ADAPT‑Z 방식을 제안한다. 간단한 MLP 어댑터가 현재 특징과 과거 그래디언트를 결합해 보정값을 예측하고, 이를 통해 온라인 그라디언트 업데이트를 수행한다. 13개 데이터셋과 3가지 베이스 모델에 대한 실험 결과, 기존 파라미터‑업데이트 기반 방법들을 일관되게 능가함을 보인다.

상세 분석

ADAPT‑Z는 기존 온라인 시계열 학습이 “어떤 파라미터를 업데이트할 것인가”와 “어떻게 업데이트할 것인가”에 초점을 맞추는 한계를 비판하고, 근본적인 분포 이동이 잠재 요인의 변화에서 비롯된다는 가설을 제시한다. 이를 위해 모델을 인코더 f와 예측 헤드 g로 분리하고, 인코더가 추출한 특징 zₜ를 직접 보정하는 δₜ를 학습한다. δₜ는 단순히 손실의 그래디언트를 이용한 직접적인 업데이트보다, 현재 특징 zₜ와 과거에 축적된 그래디언트 정보를 입력으로 받는 작은 MLP 어댑터에 의해 생성된다. 이 설계는 두 가지 중요한 문제를 해결한다. 첫째, 다단계 예측(k‑step ahead)에서는 실제 목표값이 k시간 뒤에야 관측되므로, 기존 방법은 오래된 그래디언트를 사용해 파라미터를 업데이트한다. ADAPT‑Z는 δₜ를 즉시 계산할 수 있어 지연 피드백에 의한 그래디언트 오염을 회피한다. 둘째, 보정값이 고정되지 않고 현재 특징에 조건부로 변하기 때문에, 환경 변화(예: 교통량에 영향을 미치는 날씨·경제 요인)의 영향을 동적으로 반영한다.
어댑터 구조는 특징과 그래디언트를 각각 선형 변환한 뒤 합산하고, 다시 두 개의 선형 레이어를 거쳐 최종 δₜ를 출력한다. 이렇게 두 경로를 분리함으로써 특징과 그래디언트의 스케일 차이를 완화한다. 또한 배치 기반으로 과거 그래디언트를 평균화해 변동성을 감소시키고, 온라인 배포 단계에서는 k‑step 지연 온라인 그라디언트 디센트를 적용해 캐시된 손실을 역전파한다.
실험에서는 iTransformer, SOFTS, TimesNet 세 가지 최신 시계열 모델을 베이스로 사용하고, ETT, PEMS, Weather, Solar 등 13개 데이터셋에 대해 12·24·48‑step 예측을 수행했다. 기존 DSOF, Proceed, ADCSD, SOLID 등 최신 온라인 학습 기법과 비교했을 때, ADAPT‑Z는 평균 MSE/MAE에서 5 % 이상 개선했으며, 특히 급격한 분포 변동이 있는 구간에서 안정적인 성능 향상을 보였다. 흥미롭게도, 사전 학습 단계에서 특징 그래디언트를 활용한 “learn‑to‑adapt” 현상이 관찰되어, 파라미터를 전혀 업데이트하지 않아도 일정 수준의 적응 능력을 갖게 된다.
전체적으로 ADAPT‑Z는 복잡한 파라미터‑조정 메커니즘 없이도 특징‑공간에서의 간단한 보정으로 온라인 시계열 예측의 핵심 문제를 해결한다는 점에서 이론적·실용적 의의를 가진다.