다중변량 시계열 예측을 위한 교차 최적화 기반 이중경로 프레임워크 AltTS

초록

AltTS는 시계열의 안정적인 자기회귀(AR)와 변동성이 큰 차원간 상호작용(CR)을 각각 선형 모델과 Transformer‑CRSA 모듈로 분리하고, 두 경로를 교대로 최적화한다. 별도 옵티마이저와 마스크된 어텐션을 통해 그래디언트 간섭을 최소화해 장기 예측 정확도를 크게 향상시킨다.

상세 분석

본 논문은 다중변량 시계열 예측에서 “안정적인 AR 동역학”과 “간헐적인 차원간 상호작용”이 서로 다른 학습 난이도를 가진다는 관찰에서 출발한다. 기존의 단일 네트워크는 두 현상을 동시에 학습하면서 고분산의 CR 업데이트가 AR 파라미터에 잡음으로 작용해 수렴을 방해한다는 실험적 증거를 제시한다(그라디언트 분산 그래프, Fig. 1). 이를 해결하기 위해 저자는 두 개의 독립 경로를 설계한다. AR 경로는 RevIN 정규화 뒤에 각 차원을 별도로 학습하는 선형 예측기(𝑓_ii)를 두어 채널 독립성을 보장한다. 이는 기존 RLinear과 동일하지만, AR 전용으로 제한함으로써 파라미터 공유에 따른 혼선을 없앤다. CR 경로는 입력을 토큰화한 뒤, 다중 헤드 자기‑주의(MHSA)에서 대각선(자기 자신) 요소를 −∞ 로 마스킹한 Cross‑Relation Self‑Attention(CRSA)을 적용한다. 이 마스크는 AR 정보를 CR 모듈이 복제하지 못하게 하여 순수한 차원간 상관만을 학습하게 만든다. Transformer 블록은 표준 레이어 정규화와 피드포워드 네트워크를 그대로 사용하되, 출력은 채널‑독립 선형 헤드에 의해 각 차원의 CR 기여(𝑦̂_CR)로 변환된다. 최종 예측은 AR과 CR 출력을 역정규화 후 합산한다.

학습 단계에서는 두 경로를 교대로 업데이트한다. 구체적으로는 (i) AR 파라미터에 대해 전용 옵티마이저(예: Adam)와 학습률을 적용하고, (ii) CR 파라미터에 대해 별도 옵티마이저와 보다 큰 학습률을 사용한다. 한 에폭 동안 AR을 몇 번, CR을 몇 번 업데이트하는 순환 스케줄을 도입함으로써 “그라디언트 엔탱글먼트”를 이론적으로 해소한다. 논문은 수식(7)·(8)을 통해, 완전한 전이 행렬 F를 알 수 없을 때 관측 잔차 r_i가 모든 𝑓_ij에 공유되어 파라미터 블록 간 상호 의존성이 발생함을 증명한다. 교대 최적화는 이러한 공유 잔차를 경로별로 분리해 각 블록이 자체 잔차에만 반응하도록 만든다.

실험에서는 7개의 공개 벤치마크(Weather, Traffic, Electricity, ETTh1/2, ETTm1/2 등)와 다양한 예측 길이(96, 192, 336, 720)를 대상으로 기존 선형·Transformer·Hybrid 모델과 비교한다. 전체 평균 MSE/MAE에서 AltTS가 3%~12% 정도의 상대적 개선을 보이며, 특히 720 스텝 장기 예측에서 가장 큰 격차를 만든다. Ablation study에서는 (1) 교대 최적화 없이 공동 학습했을 때 성능 저하, (2) CRSA 마스크를 제거했을 때 AR 파라미터에 CR 잡음이 유입되는 현상, (3) AR 경로를 비선형으로 교체했을 때 계산 비용은 증가하지만 성능 이득이 미미함을 확인한다. 또한, gradient variance 분석을 재현해 교대 학습 시 AR과 CR 모두 안정적인 감소 곡선을 보이며, 공동 학습 시 CR의 분산이 폭발하는 현상이 재현된다.

이 논문은 “복잡한 아키텍처보다 최적화 스케줄링이 핵심”이라는 메시지를 실험과 이론으로 뒷받침한다. AR과 CR을 구조적으로 분리하고, 각각에 맞는 학습률·옵티마이저를 교대로 적용함으로써, 기존 고성능 Transformer 기반 모델과 동등하거나 우수한 성능을 더 간단한 구성으로 달성한다. 향후 연구 방향으로는 (a) 동적 스케줄링(예: 자동 단계별 학습률 조정), (b) 비선형 AR 모듈과의 혼합, (c) 다른 도메인(예: 금융, 의료)에서의 적용 가능성 등을 제시한다.