시간 시계열 예측 모델 강인성 평가를 위한 인과 기반 등급 체계

초록

본 논문은 주식 가격 데이터를 활용해 시계열 예측 모델의 강인성을 정량화하는 인과 기반 등급 프레임워크를 제안한다. 여섯 가지 입력 교란과 열두 가지 데이터 분포를 적용해 일반 목적 및 시계열 특화 파운데이션 모델, 멀티모달 비전 트랜스포머 등을 비교 평가하고, 사용자 연구를 통해 등급이 모델 선택에 미치는 실용적 가치를 검증한다.

상세 분석

이 연구는 시계열 예측 모델의 신뢰성을 객관적으로 측정하기 위해 인과 추론을 핵심 설계 원칙으로 채택하였다. 먼저 저자들은 입력 교란을 ‘입력‑특정(IP)’, ‘의미‑교란(SP)’, ‘구문‑교란(SyP)’, ‘복합‑교란(CP)’ 네 범주로 세분화하고, 각각 두 개, 두 개, 한 개, 한 개씩 총 여섯 가지 유형을 정의하였다. IP는 원시 수치 시계열에 노이즈를 추가하거나 결측치를 삽입하는 방식이며, SP는 데이터 의미를 왜곡하는 가격 급등·급락 시나리오, SyP는 시간 스탬프 정렬 오류 등 구조적 변형을 포함한다. CP는 이미지 기반 감성 분석 결과와 결합해 멀티모달 입력 전체에 동시에 교란을 가하는 복합 상황을 모사한다.

교란 효과를 정확히 추정하기 위해 저자들은 인과 그래프 M을 설계하였다. 여기서 민감 속성 Z(예: 산업군, 기업 규모)는 교란 P와 잔차 R_max 사이에 잠재적 혼동 경로를 형성한다. ‘do‑연산자’를 이용해 P에 대한 직접적 인과 효과를 측정하고, 백도어 조정을 통해 Z에 의한 스퓨리어스 상관관계를 제거한다. 이 과정에서 두 개의 새로운 인과 기반 메트릭, 즉 ‘교란‑인과 효과 지수(CAEI)’와 ‘혼동‑보정 강도(CBI)’를 도입해 기존 통계적 지표와 병행한다.

실험은 미국·영국에 위치한 J.P. Morgan AI Research와 남카 대학의 협업으로, 6개 기업(3개 산업군) 각각 1년치 일일 종가 데이터를 사용했다. 모델 풀은 (1) 일반 목적 파운데이션 모델(GPT‑계열인 Gemini‑V, Phi‑3), (2) 시계열 특화 파운데이션 모델(Chronos, MOMENT), (3) 비전 트랜스포머 기반 멀티모달 모델(ViT‑num‑spec 변형 두 종류), (4) 전통적인 시계열 베이스라인(ARIMA, LSTM) 등 총 11종을 포함한다. 각 모델에 대해 윈도우 크기 n과 예측 단계 d를 동일하게 설정하고, 교란 전후의 최대 잔차 R_max, 평균 절대 오차(APE), 비율 오류(PIE%) 등을 측정한다.

결과는 크게 세 가지 인사이트를 제공한다. 첫째, 시계열 특화 파운데이션 모델은 일반 목적 모델에 비해 교란에 대한 민감도가 현저히 낮으며, 특히 SP와 CP 상황에서 R_max이 30 % 이하로 유지된다. 둘째, 멀티모달 접근법(ViT‑num‑spec)은 수치 입력만 사용하는 모델 대비 교란에 대한 복원력을 15 ~ 20 % 향상시킨다. 이는 이미지·스펙트로그램이 교란을 상쇄하는 보조 정보를 제공하기 때문이다. 셋째, 인과 기반 메트릭은 전통적인 통계 지표와 달리 Z가 교란과 결과에 미치는 간접 효과를 정량화함으로써, 특정 산업군에 편향된 모델을 사전에 식별할 수 있게 한다.

사용자 연구에서는 45명의 금융 분석가와 데이터 과학자를 대상으로 모델 예측 그래프와 함께 제안된 등급을 제시하였다. 참가자들은 등급이 제공될 때 모델 간 강인성 비교에 소요되는 인지적 부담이 평균 27 % 감소했으며, 의사결정 속도도 유의미하게 빨라졌다. 이는 등급이 ‘블랙박스’ 모델에 대한 신뢰 구축에 실질적 가치를 제공함을 시사한다.

전반적으로 이 논문은 인과 추론을 활용한 강인성 평가 프레임워크를 통해, 모델 선택 단계에서 정확도와 내구성을 동시에 고려할 수 있는 체계적 방법을 제시한다. 향후 연구에서는 교란 유형을 확대하고, 실시간 스트리밍 데이터에 대한 연속적 등급 업데이트 메커니즘을 구축하는 방향이 제안된다.