현실적인 시계열 예측 벤치마크 fev bench

초록

fev-bench는 7개 도메인에 걸친 100개의 예측 과제를 제공하고, 그 중 46개는 공변량을 포함한다. 저자는 경량 파이썬 라이브러리 fev를 통해 재현성을 높이고, 부트스트랩 기반 신뢰구간을 이용해 승률과 스킬 점수라는 두 축으로 모델을 평가한다. 통계적 엄밀성을 갖춘 집계 방법과 유연한 인프라를 제시함으로써 기존 벤치마크의 한계를 보완한다.

상세 분석

본 논문은 시계열 예측 분야에서 최근 급부상하고 있는 사전학습(pretrained) 모델들의 평가 기반을 재정립하고자 한다. 기존 벤치마크가 도메인 편중, 공변량 부재, 단일 요약 지표에 의존하는 등 여러 구조적 한계를 가지고 있음을 지적하고, 이러한 한계가 모델 개발 방향에 부정적 영향을 미친다고 주장한다. 이를 해결하기 위해 제안된 fev-bench는 7개 실세계 도메인(에너지, 자연, 클라우드, 모빌리티, 경제, 보건, 소매)에서 100개의 과제를 구성한다. 특히 46개의 과제에 정적·동적·미래 알려진 공변량을 포함시켜, 실제 비즈니스 환경에서 흔히 요구되는 다변량 예측 시나리오를 반영한다.

데이터셋은 Monash, GIFT‑Eval, BOOM 등 기존 공개 컬렉션을 기반으로 하면서, Kaggle 및 도메인 전용 저장소에서 공변량이 포함된 시계열을 추가 확보하였다. 과제 설계 시 동일 데이터에 대해 서로 다른 예측 지평을 중복 사용하지 않고, 도메인 특성에 맞는 지평(예: 에너지의 168시간, 소매의 30일)을 선택함으로써 과제 간 상관성을 최소화한다.

평가 메트릭은 점예측에 MASE, 확률예측에 Scaled Quantile Loss(SQL)를 채택한다. MASE는 규모에 무관하고 계절성을 정규화해 다양한 시계열에 적용 가능하며, SQL은 MASE의 확장 형태로 규모 독립적인 정량화 손실을 제공한다. 두 메트릭 모두 간헐적 시계열에서 발생할 수 있는 0분모 문제를 사전에 검증하여 제외하였다. 보조적으로 Weighted Quantile Loss와 Weighted APE를 보고함으로써 기존 연구와의 비교 가능성을 확보한다.

집계 단계에서는 두 가지 핵심 지표를 도입한다. 첫째, 평균 승률(win rate)은 모델이 무작위 선택된 다른 모델보다 낮은 오류를 보이는 비율을 나타내며, 동점은 절반 승리로 처리한다. 이는 모델 간 상대적 우위를 직관적으로 보여주지만, 절대적인 성능 차이를 반영하지 못한다는 한계가 있다. 둘째, 스킬 점수(skill score)는 고정 베이스라인(Seasonal Naïve) 대비 오류 감소 비율을 기하 평균으로 집계하고, 극단값 영향을 완화하기 위해