정확성을 넘어 다중예측 안정성을 고려한 새로운 지표

초록

본 논문은 다중‑ horizon 확률 예측의 정확도와 시간적 일관성(안정성)을 동시에 평가하는 “forecast accuracy and coherence”(AC) 점수를 제안한다. 에너지 스코어 기반 정확도와, 동일 목표 시점을 향한 여러 시점에서의 예측 변동을 측정하는 수직·수평 안정성 지표를 가중합해 사용자 정의 가중치로 조정한다. 이를 차별가능한 손실 함수로 구현해 SARIMA 모델을 학습시켰으며, M4 Hourly 데이터셋에서 기존 최대우도 추정 대비 수직 분산을 91.1 % 감소시키고, 장기 horizon에서 MAPE를 최대 26 % 개선하였다. 단, 1‑step ahead에서는 7.5 % 정확도 손실이 발생한다.

상세 분석

이 연구는 기존 시계열 예측 평가가 정확도(예: CRPS, MAPE)만을 강조해 왔던 점을 비판하고, “예측 안정성”이라는 개념을 정량화한다는 점에서 독창적이다. 수직 안정성은 동일 목표 시점에 대해 서로 다른 예측 시점에서 생성된 값들의 분산을 의미하며, 논문에서는 이를 anti‑diagonal(대각선 반대쪽)상의 값들의 분산으로 정의한다. 수평 안정성은 한 시점에서 여러 horizon을 예측한 벡터의 일관성을 평가한다. 두 안정성 개념을 모두 포괄하도록, 저자는 에너지 거리(Energy Distance)를 기반으로 한 가중 에너지 스코어를 정확도 지표로 채택하고, 연속적인 예측 간 차이를 동일한 거리 함수로 측정한다. 특히, 목표 시점이 겹치는 부분만을 marginalization하여 비교함으로써 다중 horizon 간의 직접적인 변동을 정밀하게 포착한다.

가중치 벡터 w는 horizon 별 중요도를 반영하도록 설계돼, 의사결정 시점에 가까운 예측에 더 큰 페널티를 부여할 수 있다. 최종 AC 점수는
Score = λ·Acc + (1‑λ)·Stb 형태로, λ∈