시간 시계열 이해와 추론을 위한 포괄적 벤치마크 MMTS‑BENCH

초록

MMTS‑BENCH는 구조 인식, 특징 분석, 시간 추론, 시퀀스 매칭, 교차‑모달 정렬 등 5가지 핵심 차원을 계층적으로 정리한 2,424개의 TSQA(시간 시계열 질문‑답변) 쌍을 제공한다. 합성 데이터와 실제 도메인(금융·헬스케어·교통·클라우드·기후) 데이터를 각각 Base, InWild, Match, Align 네 개의 서브셋으로 구성하고, 단계별 실세계 QA 생성 파이프라인과 통제 가능한 합성 파이프라인을 도입하였다. 다양한 폐쇄형·오픈소스 LLM과 TS‑LLM을 평가한 결과, 일반 LLM이 전반적으로 더 높은 OOD 일반화 능력을 보이며, CoT와 멀티모달 통합이 성능을 크게 끌어올린다는 점을 확인했다. 또한 현재 TS‑LLM의 성능 차이는 백본 네트워크의 표현력에 기인하고, 전용 시계열 인코더 설계는 부수적인 역할에 불과함을 제시한다.

상세 분석

MMTS‑BENCH는 기존 시계열 벤치마크가 갖는 ‘평면적 과제 분류’와 ‘단일 도메인·단일 형식’의 한계를 극복하기 위해, 계층적 능력 모델링을 도입했다. 먼저 시간 시계열 이해를 5대 차원(구조 인식, 특징 분석, 시간 추론, 시퀀스 매칭, 교차‑모달 이해)으로 나누고, 각 차원에 세부 과제를 정의함으로써 총 286개의 미세 과제 조합을 설계하였다. 이러한 설계는 모델이 기본적인 ‘패턴 인식’에서부터 복합적인 ‘인과·반사실 추론’까지 점진적으로 능력을 확장하도록 요구한다.

합성 데이터 생성 파이프라인은 17개의 전문가 설계 템플릿을 기반으로 추세·계절·노이즈를 가감·연결 방식으로 조합한다. 파라미터 수준에서 생성 과정을 로그로 남겨, 약한 계절성부터 강한 비정상성 전이까지 다양한 난이도 구간을 정밀하게 제어한다. 이는 기존 연구가 주로 고정된 함수 형태나 단일 토큰화 방식에 의존하던 점을 보완한다.

실세계 데이터 서브셋(InWild)은 LOTSA 데이터베이스의 5개 도메인(교통, 금융, 클라우드, 기후, 헬스케어)에서 추출한 다변량 시계열을 활용한다. 여기서는 다단계 LLM‑주도 생성과 전문가 검증을 결합해, 시계열 자체와 시각화 이미지, 메타데이터를 모두 포함하는 멀티모달 프롬프트를 제공한다. LLM이 자동으로 요약·특징 추출·질문 생성까지 수행하고, 인간 전문가가 품질을 검증·보완함으로써 높은 신뢰도의 QA 쌍을 확보한다.

평가 결과는 크게 네 가지 인사이트를 제공한다. 첫째, TS‑LLM이 일반 LLM에 비해 도메인 간 일반화가 현저히 낮다는 점이다. 이는 현재 TS‑LLM이 특정 시계열 인코더에 과도하게 의존하고, 백본 모델의 규모·사전학습 데이터가 제한적이기 때문이다. 둘째, 지역(local) 과제(예: 구간별 변동성 탐지)에서 전역(global) 과제(예: 장기 추세 예측)보다 성능이 낮다는 점은 모델이 장기 의존성을 포착하는 데 한계가 있음을 시사한다. 셋째, CoT(Chain‑of‑Thought) 프롬프트와 멀티모달 입력이 성능을 크게 향상시킨다. 특히 복합 추론(인과·반사실)과 교차‑모달 정렬 과제에서 CoT가 정답률을 평균 12%p 끌어올렸다. 넷째, 백본 네트워크의 표현력이 TS‑LLM 성능의 주된 결정 요인이며, 시계열 전용 인코더 설계는 부수적인 효과만을 보인다. 이는 향후 연구가 대규모 사전학습된 언어 모델을 기반으로 시계열 특화 모듈을 경량화하는 방향으로 나아가야 함을 의미한다.

이러한 분석을 통해 MMTS‑BENCH는 단순 정확도 측정이 아니라 능력별 세분화된 진단을 가능하게 하며, 연구자들이 모델 설계·학습 전략을 체계적으로 비교·개선할 수 있는 표준 플랫폼을 제공한다.