극소 파라미터로 구현하는 이중 도메인 시계열 예측 모델 MixLinear

초록

MixLinear는 시간 영역의 세그먼트 기반 선형 변환과 주파수 영역의 적응형 저랭크 스펙트럼 필터링을 결합해, 파라미터를 0.1K(100개) 수준으로 축소하면서도 장기 시계열 예측에서 기존 SOTA 모델과 동등하거나 우수한 정확도를 달성한다. 복잡도는 O(n)으로 감소하고, 메모리·연산 요구량이 크게 낮아 리소스 제한 디바이스에 적합하다.

상세 분석

본 논문은 장기 시계열 예측(LTSF)에서 “시간‑주파수 이중성”을 활용한 새로운 경량 모델링 패러다임을 제시한다. 첫 번째 경로인 세그먼트 기반 시간 영역 처리에서는 입력 시계열을 다운샘플링 후 비중첩 세그먼트로 분할하고, 각 세그먼트에 대해 intra‑segment 선형 변환(짧은 구간의 로컬 패턴 압축)과 inter‑segment 선형 변환(세그먼트 간 장기 트렌드 연결)을 순차적으로 적용한다. 이 두 단계는 각각 d·r, d·M 차원의 파라미터만을 사용해 O(n) 복잡도로 구현되며, 전통적인 O(n²) 선형 모델이나 self‑attention 기반 모델에 비해 파라미터와 연산량이 급감한다.

두 번째 경로인 주파수 영역에서는 다운샘플링된 시계열에 FFT를 적용해 복소수 스펙트럼을 얻고, 전체 (L/π)×(L/π) 필터 대신 저랭크 행렬 분해 U·Vᵀ (U∈ℂ^{(L/π)×nz}, V∈ℂ^{nz×(L/π)})를 도입한다. 여기서 nz는 2로 고정된 초저랭크 차원으로, 자연 신호가 주파수 도메인에서 희소성을 보인다는 가정에 기반한다. 저랭크 필터링은 주요 주파수 성분만을 선택적으로 강화하면서 과적합 위험을 최소화한다. 역 FFT와 실수 변환을 거쳐 시간 영역으로 복원하고, 최종적으로 세그먼트 경로와 주파수 경로의 출력을 합산해 예측값을 만든다.

이중 경로 구조는 두 도메인의 장점을 상보적으로 활용한다는 점에서 혁신적이다. 시간 영역은 급격한 변동과 국소적 패턴을 효율적으로 포착하고, 주파수 영역은 장기적인 계절성·추세를 극소 파라미터로 압축한다. 또한 두 경로가 독립적으로 학습되면서도 최종 합산 단계에서 공동 최적화가 이루어져, 기존의 복합적인 멀티‑헤드 혹은 멀티‑모듈 설계보다 안정적인 그래디언트 흐름을 제공한다.

복잡도 분석에서는 세그먼트 경로가 O(n) 연산, 주파수 경로가 FFT 기반 O(n log n) 연산을 차지해 전체 복잡도가 O(n log n)으로 제한된다. 메모리 사용량도 O(n) 수준이며, 이는 L² 메모리를 요구하는 Transformer 기반 모델에 비해 수십 배 효율적이다.

실험에서는 ETTh1/2, ETTm1/2, Exchange, Solar, Electricity, Traffic 등 8개의 벤치마크 데이터셋을 대상으로 720 길이의 look‑back과 96720의 다양한 horizon을 설정해 비교하였다. MixLinear는 파라미터 0.1K(≈100)만 사용하면서도 MSE 기준으로 SparseTSF(1K 파라미터)보다 평균 25% 개선하거나, 최신 Transformer 모델(PatchTST, TimesNet)과 비슷한 수준의 정확도를 보였다. 또한 MACs(연산량) 역시 기존 경량 모델 대비 30% 이상 절감되었다.

결과적으로 MixLinear는 “극소 파라미터·극대 효율”이라는 목표를 달성하면서도, 복잡한 장기 의존성을 충분히 학습할 수 있음을 입증한다. 이는 엣지 디바이스, IoT 센서, 모바일 환경 등 연산·메모리 제약이 큰 실제 적용 시나리오에 바로 활용 가능한 모델 설계 원칙을 제시한다.