시간 변형을 학습하는 심플렉틱 포지셔널 임베딩 기반 시계열 예측 모델 StretchTime

초록

본 논문은 기존 Transformer의 위치 인코딩인 RoPE가 비선형 시간 왜곡을 표현하지 못한다는 이론적 한계를 제시하고, Hamiltonian 역학에서 유도한 Symplectic Positional Embedding(SyPE)를 도입한다. SyPE는 회전군 SO(2)를 심플렉틱 군 Sp(2,ℝ)으로 확장하고, 입력에 의존하는 Adaptive Warp 모듈을 통해 시계열의 지역적 주기 변화를 자동으로 학습한다. 이를 적용한 StretchTime 모델은 다변량 예측 벤치마크에서 특히 비정상적·비정주적 데이터에 대해 SOTA 성능을 달성한다.

상세 분석

논문은 먼저 시계열에서 “시간‑워핑(time‑warping)” 현상을 수학적으로 정의하고, 샘플 인덱스와 실제 물리적 시간 사이의 비선형 매핑 τ(t)를 도입한다. 이때 기존 RoPE는 고정된 각속도 ω₀에 기반한 회전 변환 R(t)=exp(i·ω₀·t)만을 제공하므로, τ가 비선형이면 ω₀·Δτ(t) 가 일정하지 않아 동일한 상대 위치를 표현할 수 없다는 정리 3.1을 증명한다. 이를 극복하기 위해 저자는 Symplectic Positional Embedding(SyPE)을 제안한다. SyPE는 2차원 서브스페이스에 대해 Hamiltonian 행렬 K=