하이브리드 시간 다변량 임베딩으로 강화된 경량 시계열 예측기

초록

기존 시계열 예측 트랜스포머는 시간 의존성에 과도하게 집중하여 계산 비용 대비 성능 향상이 미미했습니다. 본 연구는 효과적인 표현 학습을 위한 하이브리드 시간 및 다변량 임베딩(HTME) 전략을 제안합니다. HTME는 시간 특징과 다변량 특징을 독립된 공간에서 추출 후 융합하여, 의미적으로 풍부하면서도 노이즈가 억제된 임베딩을 생성합니다. 이를 트랜스포머와 결합한 HTMformer는 다양한 실제 데이터셋에서 정확도와 효율성 모두에서 최고 수준의 성능을 달성했습니다.

상세 분석

본 논문이 제안하는 HTMformer의 핵심 기술적 혁신은 ‘Hybrid Temporal and Multivariate Embedding(HTME)’ 추출기에 있습니다. 기존 모델들이 시간적 특징과 다변량 특징을 단일 공간에서 혼합하여 추출하거나, 다변량 상관관계를 무시하는 채널 독립 방식을 채택함으로써 발생하는 문제점을 정확히 지적합니다. 전자의 경우 복잡한 모듈 추가로 인한 계산 오버헤드와 공유 특징 공간 내의 노이즈 간섭으로 성능이 저하되며, 후자는 시계열의 복잡한 패턴을 정확히 식별하지 못하는 한계가 있습니다.

HTME는 이러한 문제를 해결하기 위해 두 가지 독립적이고 병렬적인 특징 추출 경로를 설계했습니다. 첫째, ‘시간 특징 추출기’는 패칭 전략과 컨볼루션 필터를 통해 단기 및 장기 시간 의존성을 계층적으로 포착합니다. 둘째, ‘다변량 특징 추출기’는 동일한 패칭 입력을 받아 변수 간의 상관관계를 GRU 네트워크 등을 활용해 추출합니다. 여기서 가장 중요한 설계 철학은 두 특징 공간을 ‘분리(disjoint)‘시킨다는 점입니다. 이로 인해 다변량 추출 과정에서 발생할 수 있는 노이즈가 시간 특징 공간으로 전파되는 것을 근본적으로 차단합니다.

추출된 다변량 특징은 시간 특징 공간으로 투영(project)된 후, 학습 가능한 가중치(α)를 통해 시간 특징과 융합됩니다. 이는 다변량 정보가 시간 모델링을 ‘보완’하도록 유도하며, 결과적으로 후속 트랜스포머 인코더가 단일 차원(시간 차원)에 집중하면서도 다변량 상관관계를 간접적으로 고려할 수 있게 합니다. 이 구조는 iTransformer의 ‘반전된 입력(Inverted Input)’ 설계와 결합되어, 어텐션 메커니즘이 변수 간 전역적 상관관계를 직접 모델링하는 동시에 HTME가 제공하는 풍부한 임베딩의 이점을 최대화합니다.

실험 결과는 이 접근법의 유효성을 입증합니다. HTME를 적용한 다양한 백본 모델(Transformer, Informer, DLinear 등)은 ECL, Weather, Traffic 데이터셋에서 평균 35.8%~1.7%의 MSE 개선을 보였으며, 특히 트랜스포머 계열 모델에서의 성능 향상이 두드러졌습니다. 이는 HTME가 기본 예측기의 구조에 관계없이 일반화 가능한 강력한 특징 강화 전략임을 시사합니다. 또한 HTME 자체의 시간/공간 복잡도가 O(LN)으로 선형에 머물러, 전체 모델의 효율성을 크게 해치지 않는다는 점도 실용적 가치를 높입니다.