대규모 다변량 시계열 이상 탐지 및 모델 선택 벤치마크 mTSBench

초록

mTSBench는 19개 데이터셋·344개의 라벨링된 다변량 시계열을 포함한 가장 큰 벤치마크로, 24개의 최신 이상 탐지 알고리즘(LLM 기반 포함)과 3개의 무감독 모델 선택 방법을 일관된 평가 프레임워크에서 비교한다. 실험 결과 어느 단일 탐지기가 모든 데이터에 우수하지 않으며, 현재 모델 선택 기법도 최적 선택에 크게 미치지 못함을 보여준다.

상세 분석

본 논문은 다변량 시계열 이상 탐지(MTS‑AD) 분야에서 데이터와 평가 체계의 부족이 연구 진행을 저해한다는 점을 지적하고, 이를 해소하기 위해 mTSBench라는 통합 벤치마크를 설계하였다. mTSBench는 19개의 공개 데이터셋을 아우르며, 의료·보안·산업·금융 등 12개 도메인에 걸쳐 344개의 라벨링된 시계열을 제공한다. 각 시계열은 포인트형, 구간형, 컨텍스트형 등 다양한 이상 유형을 포함하고 있어 실제 현장 상황을 잘 반영한다.

평가에 사용된 24개의 이상 탐지 모델은 전통 통계 기반(PCA, RobustPCA, COPOD 등), 고전 머신러닝(CBLOF, IF, LOF 등), 딥러닝 기반(LSTM‑AD, USAD, TimesNet, TranAD 등) 그리고 최근 등장한 대규모 언어 모델(ALLM4TS, 기타 LLM)까지 포괄한다. 모델들은 재구성·예측·통계적 점수 등 서로 다른 원리를 사용하므로, 데이터의 차원성·시간적 상관·비선형성에 따라 성능 차이가 크게 나타난다. 논문 Figure 1에서 확인할 수 있듯이, 특정 데이터셋에서는 AUC‑ROC가 0.98에 육박하는 모델도 있지만, 다른 데이터셋에서는 0.30 이하로 급락한다. 이는 “한 모델이 모든 상황을 지배한다”는 가설이 현실에서는 성립하지 않음을 재확인한다.

모델 선택 문제에 대해서는 기존 연구가 메타‑러닝, 분류기 기반, 강화학습 등 네 가지 접근법으로 나뉘지만, 대부분이 단일 도메인·소규모 데이터에 한정돼 있었다. mTSBench는 이러한 한계를 극복하고, 무감독 모델 선택 기법 3가지를 동일한 환경에서 평가한다. 평가 지표는 점수 기반 평균 순위와 최적 모델 대비 성능 격차를 포함한다. 실험 결과, 가장 강력한 선택 기법조차도 “Oracle”(최적 선택) 대비 평균 15 %~20 % 정도의 손실을 보였으며, 무작위 선택보다도 크게 앞서지 못한다는 점이 드러났다. 이는 현재 무감독 선택 알고리즘이 다변량 시계열의 복합적인 특성을 충분히 포착하지 못한다는 의미이며, 보다 정교한 메타‑피처 설계·시계열 특화 강화학습·LLM 기반 선택 전략의 개발 필요성을 강조한다.

또한, LLM 기반 탐지 모델이 공개된 두 가지만 존재함에도 불구하고, 일부 데이터셋에서 경쟁력 있는 성능을 보였다는 점은 향후 대규모 사전학습 모델이 MTS‑AD에 미칠 잠재력을 시사한다. 다만, LLM은 아직 학습 비용·추론 지연·라벨링 요구량 측면에서 제한이 있으므로, 경량화와 도메인 적응 기술이 병행돼야 할 것이다.

전체적으로 mTSBench는 데이터·모델·평가·선택이라는 네 축을 모두 포괄하는 최초의 종합 벤치마크이며, 향후 연구자들이 새로운 탐지 알고리즘이나 선택 메커니즘을 공정하게 비교·검증할 수 있는 기반을 제공한다.