대규모 멀티모달 사전학습으로 시계열 분석 혁신

초록

본 논문은 시계열 데이터를 이미지·텍스트와 같은 내생적 모달리티와 실시간 뉴스와 같은 외생적 지식으로 확장한 대규모 멀티모달 사전학습 프레임워크를 제안한다. 자동화 파이프라인으로 구축한 MM‑TS 데이터셋(6개 도메인, 10억 포인트) 위에 Frequency‑enhanced Cross‑Modality Encoder와 Time‑Frequency Decoder를 결합한 HORAI 모델을 사전학습시켰으며, 제로샷·소수샷 환경에서 시계열 예측·이상 탐지 모두 기존 최첨단 모델을 능가하는 성능을 보였다.

상세 분석

HORAI의 핵심 설계는 두 단계의 주파수 기반 처리에 있다. 먼저 입력 시계열을 FFT로 변환한 뒤, 저주파와 중·고주파를 각각 마스크하여 분리한다. 저주파 성분은 장기 트렌드와 계절성을 담고 있어 텍스트(내생적 설명·외생적 뉴스)와 정렬한다. 반면 중·고주파는 급격한 변동과 국소 패턴을 포착하므로 시각적 라인 플롯 이미지와 매핑한다. 이렇게 주파수‑모달리티 매핑을 수행한 뒤, 각 모달리티별 임베딩을 패치화하고 공통 시계열 인코더에 입력해 초기 표현을 만든다.

다음 단계인 Frequency‑enhanced Cross‑Modality Encoder에서는 모달리티 별 표현을 어텐션 기반 융합 모듈에 전달한다. 여기서는 주파수 마스크 정보를 어텐션 가중치에 추가함으로써, 저주파‑텍스트, 고주파‑이미지 간의 정합성을 강화한다. 특히, 어텐션 스코어에 주파수 가중치를 곱함으로써 동일한 시간 위치라도 주파수 특성에 따라 서로 다른 전문가(Expert)에게 라우팅될 수 있게 설계하였다.

Time‑Frequency Decoder는 MoE‑FFN(Mixture‑of‑Experts Feed‑Forward Network) 구조를 채택한다. 토큰 라우팅은 시간‑주파수 라우터에 의해 결정되며, 이는 토큰의 시계열 위치와 해당 주파수 대역 정보를 동시에 고려한다. 결과적으로, 유사한 패턴이지만 서로 다른 주파수 대역에 속하는 토큰은 서로 다른 전문가에게 할당돼 도메인 간 일반화가 향상된다. 또한, 라우터는 도메인‑특정 및 도메인‑불변 특성을 동시에 학습하도록 설계돼, 에너지·헬스케어·교통 등 다양한 분야에 걸친 전이 학습을 가능하게 한다.

데이터 측면에서 저자들은 GDELT 뉴스 데이터베이스와 GPT‑4o 기반 LLM을 활용해 자동으로 텍스트를 생성·검증한다. 내생적 텍스트는 시계열 패턴을 분석해 추출한 트렌드·계절성·정상성 정보를 구조화하고, 외생적 텍스트는 키워드 기반 뉴스 검색·요약으로 보강한다. 두 텍스트는 논리적 일관성 검증과 다중 LLM 평점을 통해 품질을 보증한다. 이미지 모달리티는 시계열 라인 플롯을 직접 렌더링해 시각적 정보를 제공한다. 이렇게 구축된 MM‑TS는 6개 도메인(에너지, 헬스케어, 웹, 자연, 교통, 경제)과 다양한 시간 해상도(초·분·시·월)를 포괄하며, 총 1조(10억) 이상의 시계열 포인트를 포함한다.

실험 결과는 두 가지 주요 다운스트림 태스크에서 확인된다. 첫째, 제로샷 시계열 예측에서는 기존 TSFM(예: Timer, MOIRAI, ROSE) 대비 평균 MSE를 12% 이상 감소시켰으며, 특히 고주파 변동이 큰 전력 부하 데이터에서 큰 이득을 보였다. 둘째, 이상 탐지에서는 F1‑score가 0.92에 달해, 기존 방법 대비 5%p 이상 향상되었다. 소수샷 파인튜닝에서도 동일한 추세가 유지돼, 멀티모달 사전학습이 모델의 데이터 효율성을 크게 높인다는 점을 입증한다.

전체적으로 본 연구는 (1) 멀티모달 사전학습 파라다임을 정의하고, (2) 대규모 멀티모달 시계열 코퍼스를 자동 구축하는 파이프라인을 제공하며, (3) 주파수‑기반 교차‑모달리티 인코더와 시간‑주파수 디코더를 결합한 새로운 아키텍처를 제시한다는 점에서 시계열 분석 분야에 중요한 전환점을 마련한다. 향후 연구는 더 다양한 외생 지식(예: GIS, 소셜 미디어)과 실시간 스트리밍 환경에 대한 확장을 통해, 실시간 의사결정 시스템에 적용하는 방향으로 나아갈 수 있다.