예측 가능성 기반 시계열 평가: 모델 순위 넘어선 새로운 기준

초록

본 논문은 시계열 예측에서 기존의 MSE·MAE와 같은 집계 지표가 데이터의 내재적 예측 불가능성과 모델 성능을 혼동한다는 문제를 지적한다. 이를 해결하기 위해 스펙트럴 코히어런스 기반의 두 가지 진단 도구, 즉 인스턴스별 난이도 추정치인 Spectral Coherence Predictability(SCP)와 모델이 선형 예측 정보를 얼마나 활용했는지를 주파수별로 측정하는 Linear Utilization Ratio(LUR)를 제안한다. SCP는 O(N log N) 시간 복잡도로 각 시계열 구간의 선형 예측 가능성을 정량화하고, LUR은 모델 예측과 실제 시계열 사이의 코히어런스를 비교해 과소 활용, 포화, 비선형 이득을 식별한다. 실험을 통해 SCP가 다양한 최신 모델의 실제 오류와 높은 상관관계를 보이며, 시간에 따라 예측 난이도가 크게 변동하는 “예측 가능성 드리프트” 현상을 발견한다. 또한, 복잡한 비선형 모델은 낮은 예측 가능성 구간에서 우수하지만, 높은 예측 가능성 구간에서는 단순 선형 모델이 경쟁력을 갖는 구조적 트레이드오프를 제시한다.

상세 분석

본 연구는 시계열 예측 평가의 근본적인 모순을 명확히 규정한다. 전통적인 MSE·MAE는 예측 오차의 절대값만을 제공하므로, 데이터 자체가 예측하기 쉬운지 어려운지를 구분하지 못한다. 따라서 복잡한 딥러닝 모델이 단순 선형 모델보다 열등하게 보일 수 있는 평가 함정이 존재한다. 이를 극복하기 위해 저자들은 스펙트럴 코히어런스(Spectral Coherence)를 활용한 두 단계의 프레임워크를 설계하였다.

첫 번째 단계인 Spectral Coherence Predictability(SCP)는 Welch 방법을 이용해 과거 히스토리 x와 미래 목표 y의 전력 스펙트럼(PSD) 및 교차 전력 스펙트럼(CPSD)을 계산한다. 주파수 f마다 (\gamma^2(f)=|S_{xy}(f)|^2/(S_{xx}(f)S_{yy}(f))) 로 정의되는 제곱 코히어런스는 선형 관계가 설명하는 비율을 나타낸다. 이를 이용해 잔차 스펙트럼 (S_e(f)=S_{yy}(f)(1-\gamma^2(f))) 를 구하고, 전체 잔차 파워를 적분해 선형 예측기의 최소 MSE 하한(MSE_lb)을 얻는다. 최종 예측 가능성 점수 (P_{xy}=1-MSE_{lb}/\operatorname{Var}(y)) 는 0~1 사이의 값으로, 데이터가 얼마나 선형적으로 예측 가능한지를 정량화한다. 이 과정은 FFT 기반으로 O(N log N) 복잡도를 가지며, 기존 Lempel‑Ziv 기반 복잡도 추정보다 수십 배 빠르다. 또한, Gaussian·정상성 가정 하에서는 Bayes 위험의 선형 해와 일치함을 이론적으로 증명한다.

두 번째 단계인 Linear Utilization Ratio(LUR)은 모델이 실제로 얼마나 선형 정보를 활용했는지를 주파수별로 평가한다. 모델 예측 (\hat y)와 실제 y 사이의 코히어런스 (\gamma^2_{y\hat y}(f)) 를 구하고, 이를 히스토리‑미래 코히어런스 (\gamma^2_{yx}(f)) 와 비교한다. 전력 가중 평균을 통해 전체 선형 활용 비율 (LUR = \frac{\sum_f \gamma^2_{y\hat y}(f)S_{yy}(f)}{\sum_f \gamma^2_{yx}(f)S_{yy}(f)}) 를 정의한다. LUR < 1이면 모델이 선형 정보를 충분히 활용하지 못했음을 의미하고, LUR ≈ 1이면 선형 최적에 도달했으며, LUR > 1이면 비선형 혹은 전역 패턴 학습을 통해 선형 한계를 초과했음을 나타낸다. 또한, 저자들은 저·중·고 주파수 밴드별 LUR을 제공해 어느 주파수 대역에서 모델이 강점 또는 약점을 보이는지 정밀히 진단한다.

실험에서는 합성 데이터와 다중 도메인 실제 시계열(전력, 교통, 금융 등)을 사용해 SCP와 실제 모델 오류(MSE) 사이의 피어슨 상관계수가 0.7~0.9에 달함을 확인하였다. 특히, 복잡한 Transformer‑계열 모델은 낮은 SCP(예측 난이도 높은 구간)에서 큰 성능 향상을 보였지만, 높은 SCP 구간에서는 선형 모델(ARIMA, ETS)과 거의 동일하거나 오히려 뒤처지는 현상이 관찰되었다. 시간에 따라 SCP가 급격히 변동하는 “예측 가능성 드리프트” 현상이 발견되었으며, 이는 기존 고정된 테스트셋 기반 벤치마크가 모델의 일반화 능력을 과대평가하거나 과소평가하게 만드는 원인으로 작용한다.

결과적으로, 이 프레임워크는 (1) 데이터 난이도와 모델 성능을 명확히 분리해 공정한 비교를 가능하게 하고, (2) 모델 설계 시 어느 주파수 대역에 비선형 역량을 강화해야 하는지 전략적 인사이트를 제공한다는 점에서 시계열 예측 연구에 중요한 전환점을 제시한다.