시간 시계열 장기 예측을 위한 효율적 선형 모델 DiPE‑Linear

초록

DiPE‑Linear는 기존 선형 Fully‑Connected 모델이 갖는 이중 매트릭스의 파라미터 중복과 시간·주파수 특성의 얽힘을 해소하기 위해, 정적 주파수 주의, 정적 시간 주의, 독립 주파수 매핑이라는 세 가지 경량 모듈로 매핑을 분해한다. 저‑랭크 가중치 공유를 도입해 다변량 시계열에서도 파라미터를 선형 수준으로 감소시키며, 로그‑선형 연산 복잡도로 장기 예측 성능을 크게 향상시킨다.

상세 분석

DiPE‑Linear는 기존 LTSF(Long‑Term Time Series Forecasting) 분야에서 선형 FC(Full‑Connected) 모델이 사용한 (W\in\mathbb{R}^{L’\times L}) 단일 가중치 행렬을 구조적으로 분해한다는 점에서 혁신적이다. 논문은 이 행렬이 시간적 의존성과 주파수적 특성을 동시에 내포하면서 파라미터가 (O(L^2)) 로 급증하고, 동일한 주기 패턴을 중복 저장하는 ‘엔탱글먼트(entanglement)’ 현상을 야기한다는 문제를 지적한다. 이를 해결하기 위해 세 가지 모듈을 순차적으로 적용한다. 첫 번째 Static Frequency Attention(SFA) 는 rFFT를 통해 입력 시계열을 주파수 도메인으로 변환하고, 학습 가능한 실수 벡터 (\theta_{SFA}) 로 각 주파수 성분의 진폭만을 조절한다. 위상은 그대로 유지함으로써 ‘제로‑페이즈 필터’ 특성을 확보한다. 두 번째 Static Time Attention(STA) 는 SFA‑처리된 시계열에 시간‑도메인 가중치 (\theta_{STA}\in\mathbb{R}^{L}) 를 원소별 곱해 중요한 시점에 가중치를 부여한다. 이는 고주파 잡음에 대한 STA의 과도한 집중을 방지하고, 핵심 주기성 성분을 강조한다. 세 번째 Independent Frequency Mapping(IFM) 은 주파수별 독립 매핑을 가정하고, 복소수 가중치 (\theta_{IFM}) 와 편향 (\beta_{IFM}) 를 사용해 주파수 도메인에서 직접 선형 변환을 수행한다. IFM은 컨볼루션 정리(Convolution Theorem)를 이용해 시간 도메인에서는 길이 (L+L’-1) 의 거대한 1D 커널과 동일한 효과를 내며, 이는 전역적인 수용 영역을 제공한다.

다변량 확장을 위해 논문은 저‑랭크 가중치 공유(Low‑rank Weight Sharing)를 도입한다. 변수 수 (C) 에 비해 (M\ll C) 개의 독립 가중치 집합을 학습하고, 라우팅 매트릭스 (R\in\mathbb{R}^{M\times C}) 를 Softmax(온도 (\tau))로 정규화해 각 변수에 적절한 가중치 집합을 할당한다. 이는 채널 간 유사 패턴을 활용하면서도 완전한 공유에 따른 성능 저하를 방지한다.

손실 함수는 주파수 도메인 가중 평균 절대 오차(WMAE)와 시간 도메인 평균 제곱 오차(MSE)를 결합한 SFALoss를 제안한다. 주파수 손실은 (\theta_{SFA}) 를 그래프에서 분리(detach)함으로써 모델이 예측이 어려운 주파수를 억제하는 ‘트릭’에 빠지는 것을 방지하고, 실제 예측에 중요한 주파수에 집중하도록 유도한다.

실험 결과는 ETTh1, ETTh2, ECL 등 여러 실제 데이터셋에서 파라미터 수가 0.7K 수준(기존 DLinear 18K 대비)임에도 불구하고 MSE가 기존 최첨단 모델들을 능가하거나 동등한 수준임을 보여준다. 복잡도 분석에 따르면, 파라미터 복잡도는 (O(L)) 로 선형화되고, 연산 복잡도는 (O(L\log L)) (FFT 기반)으로 로그‑선형 수준으로 감소한다. 따라서 DiPE‑Linear는 메모리와 연산량이 제한된 실시간 혹은 엣지 환경에서도 장기 시계열 예측을 수행할 수 있는 실용적인 베이스라인으로 자리매김한다.