트랜스포머 모델의 금융 시계열 예측 붕괴 현상과 그 이론적 원인

초록

본 논문은 제곱 손실을 최소화하는 금융 시계열 예측에서, 조건부 평균이 거의 0이 되는 약한 예측 구조 하에 트랜스포머와 같은 고표현력 모델이 오히려 예측 분산을 확대시켜 성능이 저하되는 메커니즘을 이론적으로 규명한다. 실험에서는 고빈도 EUR/USD 데이터에 대해 트랜스포머가 단순 선형 모델보다 오류가 크게 나타남을 확인한다.

상세 분석

논문은 먼저 시간‑시계열 예측을 “입력 윈도우 X(L) → 미래 궤적 Y(H)” 형태의 함수 학습 문제로 정형화한다. 손실은 전체 예측 구간에 대한 평균제곱오차(ℓ₂²)이며, 이 경우 모집단 위험을 최소화하는 최적 예측자는 조건부 평균 m(u)=E