초대규모 시계열 기반 모델 TimerS1 직렬 스케일링 혁신

초록

TimerS1은 8.3 B 파라미터 규모의 Mixture‑of‑Experts(모델)로, 토큰당 0.75 B 파라미터만 활성화하고 11.5 K 길이의 컨텍스트를 지원한다. 직렬 토큰 예측(STP) 방식을 도입해 롤링 방식의 오류 누적을 방지하고, 1 조 개의 시계열 포인트를 포함한 TimeBench 데이터셋으로 사전 학습한다. 이어지는 지속적 사전 학습과 RoPE 기반 장기 컨텍스트 확장으로 단기·장기 예측 성능을 동시에 끌어올렸다. GIFT‑Eval 벤치마크에서 최고 수준의 MASE와 CRPS를 기록하였다.

상세 분석

TimerS1은 기존 시계열 기반 모델이 직면한 “스케일링 병목”을 세 차원(아키텍처, 데이터, 학습 파이프라인)에서 직렬 스케일링(Serial Scaling) 전략으로 해소한다. 아키텍처 측면에서 핵심은 두 종류의 블록이다. 첫 번째는 TimeMoE 블록으로, Mixture‑of‑Experts 구조를 시계열 특성에 맞게 변형해 대규모 파라미터를 효율적으로 활용한다. 전문가 라우팅은 토큰당 0.75 B 파라미터만 활성화하도록 설계돼 메모리와 연산 비용을 크게 절감한다. 두 번째는 TimeSTP 블록으로, Serial‑Token Prediction(STP)이라는 새로운 학습 목표를 구현한다. STP는 입력 시계열을 한 단계씩 시프트하면서 순차적으로 다음 토큰을 예측하도록 설계돼, 전통적인 next‑token(다음 토큰) 예측이 초래하는 롤링 인퍼런스 비용과 장기 예측 시 오류 누적 문제를 근본적으로 해결한다. 특히 TimeSTP 블록은 사전 학습 단계에서도 유지되어, 추론 시에도 동일한 직렬 연산 흐름을 그대로 재현한다.

데이터 측면에서는 1 조 개 이상의 시계열 포인트를 포함하는 TimeBench를 구축했다. 이 데이터셋은 산업 IoT, 기후, 금융, 의료 등 다양한 도메인을 균형 있게 포함하며, 데이터 증강(리샘플링, 값 플리핑 등)을 통해 편향을 최소화한다. 또한, 사전 학습 단계에서 다중 길이 입력·출력 시퀀스를 동시에 학습시켜 모델이 단기·장기 패턴을 동시에 습득하도록 유도한다.

학습 파이프라인은 크게 두 단계로 나뉜다. 첫 번째는 대규모 통합 사전 학습으로, 표준 MSE와 함께 horizon‑weighted loss를 적용해 짧은 예측 오차에 더 큰 가중치를 부여한다. 두 번째는 지속적 사전 학습(Continued Pre‑Training, CPT)과 장기 컨텍스트 확장(Long‑Context Extension) 단계이다. CPT는 기존 파라미터를 고정한 채 새로운 데이터와 가중치 스케줄을 적용해 단기 예측 성능을 미세 조정한다. 장기 컨텍스트 확장은 RoPE(Rotary Positional Embedding)를 재조정해 컨텍스트 길이를 2 880에서 11 520 토큰으로 확대함으로써, 긴 시계열에서도 위치 정보를 손실 없이 전달한다.

실험 결과는 GIFT‑Eval 리더보드에서 MASE 0.693, CRPS 0.485라는 최고 점수를 기록하며, 특히 중·장기(>48 시간) 예측에서 기존 모델 대비 10 % 이상 개선되었다. 스케일링 법칙 분석에서는 파라미터 수와 컨텍스트 길이가 예측 정확도에 비선형적으로 기여함을 확인했으며, MoE 라우팅 비율을 9 % 정도로 낮출 때 가장 높은 효율‑정확도 균형을 달성했다. Ablation 연구에서는 (1) TimeSTP 블록 제거 시 장기 오류 누적이 급격히 증가하고, (2) 데이터 증강을 제외하면 편향된 도메인에서 성능이 5 % 이하로 떨어지며, (3) CPT 없이 단일 사전 학습만 수행할 경우 단기 MASE가 0.78로 악화되는 등 각 구성 요소의 중요성을 입증했다.

한계점으로는 (i) MoE 라우팅이 여전히 GPU 메모리 파편화를 야기할 수 있어, 대규모 클러스터 환경에서의 효율적인 스케줄링이 필요하고, (ii) 시계열의 비정상성(갑작스러운 변곡점) 대응을 위한 적응형 라우팅 메커니즘이 아직 미비하며, (iii) 현재는 단일 변수·다변량 모두 동일한 패치 크기를 사용하지만, 도메인별 최적 패치 설계가 추가 성능 향상을 가져올 가능성이 있다. 향후 연구는 이러한 점들을 보완하고, TimerS1을 멀티모달(텍스트·이미지·시계열) 기반 에이전트에 통합하는 방향으로 진행될 예정이다.