멀티스케일 시계열 예측을 위한 JEPA 기반 이상 조기경보 모델

초록

MTS‑JEPA는 다중 해상도 예측 목표와 소프트 코드북 병목을 결합해 시계열 데이터의 대표성 붕괴를 방지하고, 다양한 시간 스케일에 걸친 선행 신호를 포착해 조기 이상 경보 성능을 크게 향상시킨다.

상세 분석

본 논문은 기존 Joint‑Embedding Predictive Architecture(JEPA)가 시계열에 적용될 때 겪는 두 가지 근본적인 문제—대표성 붕괴와 단일 시간 해상도에 국한된 선행 신호 탐지—를 해결하기 위해 설계된 MTS‑JEPA를 제안한다. 첫 번째 핵심 아이디어는 다중 해상도(patch‑level fine view와 down‑sampled coarse view)를 동시에 입력으로 사용하고, 온라인(학생) 브랜치는 fine view만을 보면서 EMA(teacher) 브랜치는 both view를 활용해 다중 스케일 목표를 생성한다. 이 비대칭 설계는 학생이 지역적 변동성만을 관찰하면서도 전역적인 트렌드 정보를 학습하도록 강제한다. 두 번째 혁신은 소프트 코드북(bottleneck)이다. 연속적인 인코더 출력 h를 K개의 프로토타입 c_k에 대한 온도‑스케일 코사인 유사도로 soft assignment p로 매핑하고, 기대 임베딩 z=∑p_k c_k를 얻는다. 이 과정은 (1) 임베딩을 유한한 원소들의 볼록 조합으로 제한해 무한히 발산하는 표현을 억제하고, (2) 코드 분포의 배치 공분산이 0보다 크게 유지되도록 보장함으로써 대표성 붕괴를 이론적으로 차단한다. 논문 부록에서는 상한·하한을 수학적으로 증명하고, 실험적으로도 코드북이 없는 베이스라인 대비 학습 안정성이 크게 개선됨을 보여준다.

예측기 부분은 두 갈래로 나뉜다. Fine Predictor는 기존 JEPA와 동일하게 patch‑wise Transformer를 사용해 고주파 변동을 그대로 예측하고, Coarse Predictor는 하나의 learnable query 토큰을 통해 전체 히스토리를 요약, cross‑attention으로 저주파 트렌드와 전역 분포 변화를 예측한다. 이렇게 다중 스케일 목표를 동시에 학습함으로써, 급격한 충격과 서서히 진행되는 드리프트 모두를 감지할 수 있다. 마지막으로 보조 디코더가 soft‑quantized z를 원본 시계열로 복원하도록 하여, 코드북이 과도하게 추상화되는 것을 방지하고 입력 수준의 의미 보존을 촉진한다. 전체 손실은 (i) 다중 스케일 예측 손실, (ii) 코드북 정렬 손실, (iii) 재구성 손실의 가중합으로 구성되며, EMA 업데이트를 통해 teacher‑student 간의 정보 격차를 점진적으로 감소시킨다.

실험에서는 UCR, SMAP, MSL 등 공개 시계열 이상 탐지 벤치마크를 사용해 조기 경보 프로토콜(예: 5‑step 앞선 예측) 하에서 기존 SOTA 모델들—예: TS‑JEPA, PatchTST, TS2Vec—보다 평균 F1 점수가 3~7% 상승함을 보고한다. 특히 코드북 없이 학습한 버전은 빠르게 대표성 붕괴에 빠져 성능이 급락하지만, 소프트 코드북을 도입하면 학습 초기에 손실이 안정적으로 감소하고, 변동성이 큰 데이터에서도 높은 정밀도를 유지한다.

이러한 설계는 (1) 다중 해상도 입력을 통한 스케일‑인식 표현 학습, (2) 소프트 코드북을 통한 이산적 레짐 전이 모델링, (3) EMA 기반 teacher‑student 구조를 통한 안정적인 자기지도 학습이라는 세 축을 결합함으로써 시계열 이상 예측 분야에 새로운 패러다임을 제시한다.