다중변량 시계열 예측을 위한 분해 기반 상태공간 모델

초록

DecompSSM은 트렌드·계절·잔차를 각각 전용 딥 상태공간 모델(GT‑SSM)로 분해하고, 입력에 따라 시간 스케일을 자동 조정하는 어댑티브 스텝 프리딕터와 전역 컨텍스트 정제 모듈을 결합한다. 재구성·직교 손실을 보조 목표로 두어 구성 요소의 독립성을 강화하고, ECL·Weather·ETTm2·PEMS04 등 4개 벤치마크에서 기존 최첨단 모델들을 크게 앞선다.

상세 분석

DecompSSM은 기존 MTS 예측 모델이 갖는 두 가지 근본적인 한계를 동시에 해결한다. 첫째, 트렌드·계절·잔차와 같은 서로 다른 시간적 패턴을 동일한 네트워크에 혼합해 학습함으로써 각 패턴이 요구하는 최적의 스케일과 표현력을 희생한다. 둘째, 다변량 시계열 간에 공유되는 구조적 정보를 충분히 활용하지 못한다는 점이다. 이를 위해 저자는 세 개의 병렬 GT‑SSM(그루핑‑타임 상태공간 모델) 브랜치를 설계했으며, 각 브랜치는 입력‑의존적인 어댑티브 스텝 프리딕터(ASP)를 통해 연속‑시간 S5 모델의 이산화 타임스텝 Δ를 동적으로 조정한다. 트렌드 브랜치는 넓은 Δ 범위를, 계절 브랜치는 중간 범위를, 잔차 브랜치는 좁은 Δ 범위를 갖도록 초기화해 각 구성 요소가 자연스럽게 자신에게 맞는 주파수 대역을 학습하도록 유도한다.

GT‑SSM 자체는 기존 S5의 MIMO 파라미터화를 변수 차원에 적용한 ‘변수‑중심’ 설계다. 이는 시간 차원보다 변수 간 상관관계를 직접 모델링함으로써 다변량 시계열 특유의 동시성(cross‑variable synchrony)을 포착한다. 또한 각 브랜치에 삽입된 작은 게이팅 MLP은 트렌드(Tanh), 계절(GELU), 잔차(ReLU)와 같은 비선형성을 통해 해당 패턴의 특성을 강화한다.

전역 컨텍스트 정제 모듈(GCRM)은 모든 변수에 대한 평균 임베딩을 계산하고, 이를 스칼라 α와 시그모이드 σ를 통해 각 변수에 residual 형태로 다시 주입한다. 이 과정은 변수 간 스케일·위상 불일치를 완화하고, 특히 노이즈나 결측치가 존재할 때 구성 요소가 서로 섞이는 현상을 방지한다.

보조 손실은 두 부분으로 구성된다. 첫 번째는 재구성 손실 L_rec으로, 정제된 세 구성 요소를 합쳐 원본 정규화 입력 X′와의 L2 차이를 최소화한다. 두 번째는 직교 손실 L_orth으로, 각 구성 요소 간 코사인 유사도 ρ를 최소화해 서로 독립적인 표현을 강제한다. 이 두 손실은 메인 MSE 손실에 가중합되어 학습 전반에 걸쳐 분해 원칙을 지속적으로 강조한다.

실험에서는 4개 데이터셋(ECL, Weather, ETTm2, PEMS04)과 4가지 예측 horizon(96,192,336,720)에서 총 32개의 설정을 평가했다. DecompSSM은 28개의 설정에서 최우수 MSE·MAE를 기록했으며, 특히 ECL·Weather·ETTm2에서 평균 1~2% 수준의 상대적 개선을 보였다. Ablation 연구에서는 GT‑SSM을 제거했을 때 성능이 가장 크게 저하되는 것을 확인했으며, 이는 구성 요소별 전용 상태공간 모델이 핵심임을 입증한다. 또한 S5를 Attention, Mamba, Mamba‑2 등으로 교체했을 때 모두 성능이 감소했으며, 특히 Attention 기반으로 바꾸면 가장 큰 손실이 발생해 MIMO‑S5가 다변량 시계열에 최적임을 보여준다.

전체적으로 DecompSSM은 (1) 구성 요소별 전용 아키텍처, (2) 입력‑의존적 시간 스케일 적응, (3) 전역 변수 컨텍스트 공유, (4) 분해를 강제하는 보조 손실이라는 네 가지 설계 축을 통해 기존 모델이 놓치던 구조적 정보를 효과적으로 복원한다. 향후 연구에서는 자동으로 브랜치 수와 주파수 대역을 탐색하는 메커니즘을 도입해 보다 일반적인 신호 처리 문제에도 적용할 수 있을 것으로 기대된다.