범용 패치 트랜스포머 기반 시계열 파운데이션 모델 강력한 베이스라인

초록

본 논문은 복잡한 구조적 변형 없이 표준 패치 트랜스포머와 간단한 학습 레시피만으로도 시계열 파운데이션 모델(TSFM)에서 제로샷 예측 성능을 최첨단 수준으로 끌어올릴 수 있음을 입증한다. 모델 스케일링, 데이터 구성, 마스킹·정규화 기법 등을 체계적으로 Ablation 하여 성능 향주의 핵심 요인을 규명하고, 공개된 코드와 체크포인트를 통해 재현 가능한 베이스라인을 제공한다.

상세 분석

이 연구는 시계열 파운데이션 모델 분야에서 “아키텍처 혁신보다 데이터와 학습 프로토콜이 성능을 좌우한다”는 가설을 실증적으로 검증한다. 핵심 설계는 크게 네 가지 요소로 구성된다. 첫째, 입력 시계열을 고정 길이 L의 패치로 나누어 토큰화하는 ‘패치 토크나이제이션’은 시계열의 지역적 패턴을 효율적으로 캡처하면서도 연산 복잡도를 크게 낮춘다. 둘째, ‘연속 패치 마스킹(Contiguous Patch Masking, CPM)’은 무작위로 선택된 패치 블록을 대규모 마스크 처리함으로써 모델이 장기 의존성을 학습하도록 강제한다. 이는 기존의 스캐터드 마스크 방식보다 정보 격차를 크게 만들어, 장기 예측 능력을 향상시킨다. 셋째, 마스크된 입력에 대한 통계량 누수를 방지하기 위해 ‘마스크 인식 정규화(Mask‑Aware Normalization)’를 도입한다. 가시 영역만을 이용해 평균·표준편차를 계산하고, 이를 역정규화 단계에서 사용함으로써 극단값에 대한 민감도를 감소시킨다. 넷째, 출력은 양자화 헤드(Quantile Head)를 통해 다중 분위수(quantile) 값을 직접 예측하도록 설계했으며, 손실 함수는 마스크된 부분에 한정된 ‘핀볼 손실(Pinball Loss)’를 적용한다. 이러한 설계는 단일 패스(encoder‑only)로 전체 예측 구간을 동시에 생성하게 하여, autoregressive 모델에서 발생하는 오류 전파를 최소화한다.

실험에서는 모델 크기(깊이·폭)와 사전학습 데이터 양을 체계적으로 변형하며 스케일링 법칙을 탐색했다. 결과는 ‘데이터 구성’—특히 실제 데이터와 합성 데이터(KernelSynth)·혼합 데이터(TSMixup)의 조합—가 성능 향상의 주된 동인임을 보여준다. 동일한 아키텍처라도 “Leaky” 데이터(테스트 도메인 포함)와 “Clean” 데이터(테스트 도메인 제외)를 사용했을 때 성능 차이가 크게 나타났으며, 이는 제로샷 일반화 능력을 정확히 평가하기 위한 데이터 정제의 중요성을 강조한다. 또한, 모델 파라미터 수를 10M에서 300M까지 확대했을 때 CRPS와 MASE 지표가 꾸준히 개선되는 ‘신경 스케일링’ 현상이 관찰되었다.

비교 대상인 최신 TSFM(Chronos‑2, TimesFM‑2.5, Moirai‑2 등)과의 베치마크(GIFT‑Eval) 결과에서도 제로샷 설정에서 제안 모델이 대부분의 메트릭에서 상위권을 차지했으며, 특히 ‘Pretrained’ 변형은 데이터 누수 효과를 포함하더라도 여전히 경쟁력을 유지한다. 이러한 결과는 복잡한 구조적 변형 없이도 충분히 강력한 베이스라인을 구축할 수 있음을 시사한다.

마지막으로, 논문은 재현성을 위해 모델 체크포인트와 전체 파이프라인을 오픈소스로 공개한다는 점에서 커뮤니티에 큰 기여를 한다. 향후 연구는 다변량 시계열, 도메인 적응, 그리고 비정형 시계열(예: 이벤트 시퀀스)으로 확장하는 방향으로 진행될 수 있다.