고신뢰 멀티모달 시계열 예측 벤치마크

초록

본 논문은 기존 시계열 예측 벤치마크가 갖는 데이터 오염·시간·설명 누수 문제를 지적하고, 실시간 인증 API를 통해 고주파·대규모 데이터를 수집한 새로운 멀티모달 벤치마크 Fidel‑TS를 제안한다. 데이터 소싱 무결성, 누수 방지·인과적 설계, 구조적 명확성이라는 세 가지 핵심 원칙을 기반으로 구축했으며, 다양한 모델·LLM을 평가한 결과 기존 벤치마크가 과대평가한 부분을 드러내고, 멀티모달 이득이 모델 설계와 텍스트 입력의 인과적 관련성에 따라 달라짐을 확인한다.

상세 분석

Fidel‑TS는 “데이터 소싱 무결성”, “누수‑인과적 설계”, “구조적 명확성”이라는 세 가지 원칙을 체계화한 고신뢰 벤치마크이다. 첫 번째 원칙은 인증된 실시간 API 스트림을 이용해 최신·고주파 데이터를 지속적으로 수집함으로써, 기존 정적 데이터셋이 갖는 사전 학습 오염 위험을 근본적으로 차단한다. API 기반이므로 데이터 양이 수백만 포인트에 달하고, 5분~1시간 단위의 샘플링을 제공해 미세한 시계열 변동까지 평가 가능하다. 두 번째 원칙은 외생 텍스트 정보를 엄선한다. 날씨 예보와 같은 사전 예측 가능한 텍스트만을 사용해 시간 누수를 방지하고, 텍스트가 직접 목표값을 서술하지 않도록 함으로써 설명 누수를 차단한다. 또한 날씨가 물리적으로 인과관계가 명확한 외생 변수임을 강조해 인과적 타당성을 확보한다. 세 번째 원칙은 “Subject”(예: 지역·센서)와 “Channel”(예: 전력 사용량·전압)을 명확히 구분한다. 이는 모델이 동일 시스템 내 새로운 센서에 일반화하거나, 다중 변수 간 상호작용을 학습하도록 설계된 평가 프로토콜을 가능하게 한다. 데이터 정제 파이프라인에서는 짧은 결측은 선형 보간, 장기 결측은 ‘센서 다운타임’ 이벤트로 전환하고 해당 이벤트를 텍스트로 기록해 실제 운영상의 이상 상황을 학습 신호로 활용한다. 이러한 설계는 모델이 결함 감지·복구 능력을 동시에 평가하도록 만든다. 실험에서는 기존 ETT·Electricity·TimeMMD 등과 비교해, 최신 딥러닝 기반 시계열 모델과 LLM(예: GPT‑4, LLaMA‑2) 모두 이전 벤치마크에서 보였던 과대 성능이 크게 감소함을 확인했다. 특히 멀티모달 모델이 이득을 얻는 경우는 텍스트 입력이 실제 인과적 영향을 미치는 경우에 한정됐으며, 단순 텍스트 추가가 무조건적인 성능 향상을 보장하지 않는다. LLM은 일반적인 추론 능력은 뛰어나지만, 장기·고주파 예측에서는 전용 시계열 모델에 비해 정밀도와 신뢰도가 현저히 낮았다. 이러한 결과는 고신뢰 벤치마크가 모델 평가의 편향을 제거하고, 실제 운영 환경에 근접한 성능 측정을 가능하게 함을 입증한다.