시간 시계열 예측을 위한 가중 자동회귀 가변 게이트 (WAVE)

초록

본 논문은 ARMA 구조를 도입한 새로운 어텐션 메커니즘인 WAVE를 제안한다. 기존의 디코더‑전용 자동회귀 트랜스포머에 적절한 토크나이징과 학습 방식을 적용하면 기존 베이스라인과 동등한 성능을 얻을 수 있음을 보였으며, 여기에 이동 평균(MA) 항을 간접적으로 생성하는 방식을 통해 연산 복잡도와 파라미터 수를 증가시키지 않고 장기·단기 패턴을 동시에 포착한다. 실험 결과 WAVE는 다양한 AR 어텐션에 적용했을 때 일관된 성능 향상을 보여 시계열 예측 분야에서 최첨단 수준을 달성한다.

상세 분석

WAVE는 전통적인 ARMA 모델의 통계적 개념을 현대적인 트랜스포머 어텐션에 매핑한다는 점에서 혁신적이다. 먼저 저자들은 디코더‑전용 자동회귀 트랜스포머가 토큰화를 패치 단위로 수행하고 RevIN 정규화를 적용하면, 오류 누적 문제를 완화하면서도 기존 인코더‑전용 모델과 동등하거나 우수한 예측 정확도를 달성한다는 실험적 근거를 제시한다. 이는 시계열 데이터가 시계열 자체의 특성(계절성, 추세)과 노이즈를 동시에 포함하므로, 전체 시퀀스를 한 번에 생성하는 방식보다 단계별 예측이 더 유연하게 작동할 수 있음을 시사한다.

핵심 기여는 ‘간접 MA 가중치 생성’ 메커니즘이다. 전통적인 선형 어텐션은 𝜙(q)·𝜙(k) 형태의 커널을 이용해 O(N) 복잡도로 연산하지만, MA 항을 직접 계산하면 N×N 행렬을 역전시켜야 하므로 O(N²)로 되돌아간다. 저자들은 MA 가중치를 명시적으로 구하지 않고, AR 출력과 오차(ε)를 이용해 Θ 행렬을 역으로 추정하는 방식을 제안한다. 구체적으로, 각 시점 t에서 AR 출력 o_AR(t)를 구하고, 실제 다음 토큰 v_{t+1}과의 차이 r_t = v_{t+1} – o_AR(t)를 오차 ε_t로 간주한다. 이후 Θ를 삼각 행렬 형태로 모델링하고, ε 시퀀스를 순차적으로 누적함으로써 MA 출력 o_MA(t) = Σ_j θ_{t‑1,j}·ε_j 를 O(N) 시간 안에 계산한다. 이 과정은 선형 RNN 형태의 상태 업데이트와 동일하게 구현될 수 있어 기존 효율적인 선형 어텐션 파이프라인에 무리 없이 삽입된다.

또한, 게이팅 메커니즘을 활용해 단기 영향을 강조한다. 기존 게이트드 선형 어텐션은 지수 감쇠 형태의 게이트를 사용해 근접 토큰에 높은 가중치를 부여하지만, 시계열에서는 계절성 등 장기 패턴이 감쇠 없이 지속될 필요가 있다. WAVE는 MA 항을 통해 이러한 단기 변동을 별도로 캡처하고, AR 항은 장기·주기적 구조에 집중하도록 설계함으로써 두 패턴을 효과적으로 디커플링한다. 실험에서는 Softmax 기반, Linear, AFT, Gated 등 다양한 어텐션 변형에 WAVE를 적용했을 때 평균 순위가 크게 상승했으며, 특히 복합적인 계절·추세·노이즈를 가진 데이터셋에서 기존 AR 모델 대비 MSE가 10~15% 개선되는 결과를 보였다.

마지막으로, 코드 공개와 재현 가능성을 강조함으로써 연구 커뮤니티가 WAVE를 다른 도메인(예: 금융, 에너지, 의료 시계열)에도 쉽게 적용할 수 있도록 하였다. 전반적으로 WAVE는 통계적 ARMA 모델의 장점을 딥러닝 어텐션에 효율적으로 통합한 사례로, 시계열 예측의 정확도와 계산 효율성을 동시에 끌어올린 중요한 진전이라 할 수 있다.