재훈련 빈도와 글로벌 예측 모델의 안정성: 더 견고한 예측 시스템을 향하여

초록

본 연구는 전역 예측 모델을 다양한 재훈련 주기로 운영했을 때 점예측과 확률예측의 안정성을 평가한다. 새로운 분포‑무료 지표인 Scaled Multi‑Quantile Change(SMQC)를 제안하고, M4·M5·VN1 세 데이터셋과 10가지 모델을 실험한다. 결과는 재훈련 빈도를 낮출수록 예측 안정성이 유지·향상되며, 정확도와 안정성이 반드시 상충하지 않음을 보여준다.

상세 분석

이 논문은 글로벌 시계열 모델이 기존 로컬 모델에 비해 파라미터 공유와 교차 학습을 통해 높은 정확도를 달성한다는 점은 잘 알려져 있지만, 시간에 따른 예측 일관성, 즉 ‘예측 안정성(stability)’에 대한 체계적 연구가 부족함을 지적한다. 저자는 예측 안정성을 수직(vertical)과 수평(horizontal) 두 축으로 정의하고, 특히 재훈련에 따른 모델 파라미터 변화가 수직 안정성에 미치는 영향을 집중 분석한다.

실험 설계는 세 가지 대규모 공개 데이터셋(M4 일별, M5 소매 수요, VN1 주간 판매)과 10개의 전역 모델(전통적인 머신러닝 5종, 딥러닝 5종)을 사용한다. 비교 대상으로는 ETS와 ARIMA 같은 대표적인 로컬 모델도 포함해 베이스라인을 명확히 한다. 재훈련 시나리오는 ‘연속 재훈련(매 시점)’, ‘주기적 재훈련(주/월/분기)’, ‘재훈련 없음’ 등 5가지 수준으로 구분한다.

확률 예측 안정성을 정량화하기 위해 제안된 SMQC는 여러 분위수(quantile) 예측값을 스케일링한 뒤, 인접 시점 간 변화량을 평균화한 지표이다. 분포 가정이 없고, 예측값의 절대 규모에 영향을 받지 않아 다양한 모델과 데이터에 적용 가능하다. SMQC는 기존의 CRPS·Sharpness·Calibration과는 달리 ‘시간적 일관성’에 초점을 맞추어, 동일 시점에서의 여러 재훈련 결과가 얼마나 유사한지를 직접 측정한다.

주요 결과는 다음과 같다. (1) 재훈련 빈도를 낮출수록 SMQC 값이 현저히 감소해 확률 예측의 수직 안정성이 향상된다. (2) 점예측 정확도(MAPE·sMAPE)는 재훈련 빈도와 크게 상관없으며, 일부 모델에서는 오히려 적은 재훈련이 과적합을 방지해 소폭 개선된다. (3) 전역 모델은 로컬 모델에 비해 전체적으로 높은 정확도와 안정성을 동시에 달성한다. (4) 딥러닝 기반 전역 모델이 가장 큰 안정성 향상을 보였으며, 특히 시계열 간 공통 패턴을 학습한 경우 재훈련에 따른 파라미터 변동이 예측에 미치는 영향을 최소화한다.

이러한 발견은 ‘재훈련 = 최신성’이라는 전통적 인식을 재고하게 만든다. 기업 현장에서 매일 혹은 매시간 모델을 재훈련하는 비용과 시스템 복잡성을 고려할 때, 적절히 긴 재훈련 주기를 선택해도 정확도와 안정성을 동시에 유지할 수 있음을 실증적으로 보여준다. 또한, SMQC와 같은 모델‑불가지론적 안정성 지표는 향후 모델 선택·운영 정책을 과학적으로 설계하는 데 필수적인 도구가 될 전망이다.