시간 시계열을 텍스트와 연결하는 멀티모달 검색 엔진 TRACE

초록

TRACE는 다변량 시계열 데이터를 채널별 텍스트 설명과 정밀하게 정렬하여, 텍스트‑시계열 간 양방향 검색을 가능하게 하는 프레임워크이다. 채널 아이덴티티 토큰(CIT)과 채널‑편향 어텐션을 활용한 사전학습, 그리고 계층적 하드 네거티브 마이닝 기반의 이중 레벨 대조 학습을 통해 의미론적 정렬을 달성한다. 결과적으로 시계열 기반 예측·분류 모델에 외부 텍스트 컨텍스트를 제공해 성능을 크게 향상시킨다.

상세 분석

TRACE는 두 단계의 학습 파이프라인을 설계한다. 1단계에서는 다변량 시계열을 패치 단위로 토큰화하고, 각 채널 앞에 고유한 채널 아이덴티티 토큰(CIT)을 삽입한다. 이는 채널 간 혼합을 방지하고, 채널별 특성을 명시적으로 학습하도록 돕는다. 이어서 채널‑편향 어텐션(CbA)과 RoPE(회전 위치 인코딩)를 결합해, 동일 채널 내에서는 시간 차이를 기반으로 정확한 순서를 유지하면서도, 채널 토큰 간에는 마스크 M을 적용해 불필요한 상호작용을 억제한다. 마스크 비율 γ만큼 토큰을 무작위로 가리고, MSE 기반 마스크 재구성 손실로 사전학습을 수행함으로써, 시계열의 전역·국부 구조를 동시에 포착한다.

2단계에서는 텍스트와 시계열 임베딩을 공유 공간에 정렬한다. 기존의 샘플‑레벨 대조 학습은 텍스트 전체와 시계열 전체를 한 쌍으로만 비교해 세밀한 채널‑텍스트 매핑을 놓치기 쉽다. TRACE는 이를 보완하기 위해 두 단계의 하드 네거티브 마이닝을 도입한다. 채널‑레벨에서는 동일 채널 내에서 패턴이 유사하지만 의미가 다른 다른 시계열 구간을 네거티브로 선택하고, 샘플‑레벨에서는 의미는 다르지만 텍스트 표현이 유사한 다른 샘플을 동적으로 추출한다. 이렇게 구성된 이중‑레벨 대조 손실은 (z_i, z_cxt) 쌍을 강화하면서, (z_i, z’_cxt)와 (z’_i, z_cxt) 같은 혼동을 최소화한다.

TRACE는 또한 “소프트 토큰” 인터페이스를 제공한다. 검색된 시계열 스니펫을 임베딩으로 요약한 소프트 토큰을 기존 시계열 기반 파운데이션 모델의 입력 앞에 prepend함으로써, 모델이 외부 컨텍스트를 조건부로 활용하도록 한다. 이는 Retrieval‑Augmented Generation(RAG) 형태의 파이프라인을 가능하게 하며, 실제 실험에서 분류 정확도가 4.56% 상승하고, 예측 오류가 4.55% 감소하는 효과를 보였다.

실험은 기상, 의료, 에너지 등 세 분야의 공개 데이터셋과 자체 구축한 멀티모달 시계열 데이터(MMTS)를 대상으로 수행되었다. TRACE는 텍스트‑시계열 검색 정확도에서 기존 시계열‑전용 검색기(CTSR, TimeRAF 등)를 크게 앞섰으며, 독립적인 인코더로서도 Forecasting, Classification 벤치마크에서 SOTA를 기록했다. 특히, 채널‑아이덴티티 토큰을 도입한 덕분에 다채널 시계열에서 각 변수별 의미를 보존하면서도 전역적인 표현을 학습할 수 있었으며, 이는 기존 디코더‑전용 파운데이션 모델이 겪던 “채널 혼합” 문제를 효과적으로 해결한다.

전반적으로 TRACE는 (1) 채널‑레벨 정밀 정렬, (2) 계층적 하드 네거티브 마이닝 기반 이중‑레벨 대조 학습, (3) 소프트 토큰을 통한 RAG 지원이라는 세 가지 핵심 기여를 통해, 멀티모달 시계열‑텍스트 환경에서 검색·예측·분류를 모두 향상시키는 포괄적 솔루션을 제공한다.