예측 가능한 쿼리 동역학을 활용한 시계열 이상 탐지

본 연구는 멀티변량 시계열 데이터에서 발생하는 “조정 이상”(coordination anomaly)을 효과적으로 탐지하기 위해 새로운 비지도 학습 프레임워크인 AxonAD를 제안한다. 기존의 잔차 기반 이상 탐지기들은 각 채널의 값이 정상 범위에 머물러도 채널 간 관계가 변하는 경우를 놓치기 쉽다. 예를 들어 자율주행 차량에서 스티어링 명령과 측면 가속도 사이의 비정상적인 탈동조는 전통적인 재구성 오류만으로는 감지되지 않는다. AxonAD는 멀티헤드 어텐션의 쿼리(Q) 벡터가 정상 구간에서는 짧은 시간 동안 예측 가능하다는 가정을 핵심 아이디어로 삼는다. 이를 위해 두 개의 병렬 경로를 설계한다. 첫 번째 경로는 입력 윈도우 \(X \in \mathbb{R}^{T \times F}\)를 선형 임베딩하고 위치 편향을 더한 뒤, 양방향 셀프 어텐션을 적용해 재구성 \(\hat X\)를 만든다. 재구성 오류 \(d_{rec}\)는 평균 제곱 오차(MSE)로 정의된다. 두 번째 경로는 “History‑Only Predictor”이다. 입력 임베딩을 \(s\) 스텝만큼 시프트해 과거 정보만을 사용하도록 만든 뒤, 인과적(causal) 시계열 예측기 \(g(\cdot)\)를 통해 미래 쿼리 \(\mathbf{Q}_{pred}\)를 예측한다. 예측기는 EMA(Exponential Moving Average)로 업데이트되는 타깃 인코더가 생성한 \(\mathbf{Q}_{tgt}\)와 마스크드 코사인 손실을 최소화하도록 학습된다. 마스크는 연속적인 시간 패치를 선택해 일부 타임스텝을 숨김으로써 자기지도 학습을 강화한다. 타깃 인코더는 온라인 파라미터 \(\theta_{on}\)를 느리게 따라가는 EMA 파라미터 \(\theta_{tgt}\)를 유지한다. 동일한 입력에 대해 \(\theta_{tgt}\)를 사용해 임베딩을 만든 뒤, 쿼리 프로젝션 가중치 \(W_{tgt}^{q}\)와 결합해 \(\mathbf{Q}_{tgt}\)를 얻는다. 학습 단계에서는 예측 쿼리와 타깃 쿼리 사이의 코사인 거리를 최소화하는 손실 \(\mathcal{L}_{JEPA}\)를 사용한다. 이때 타깃 쿼리는 stop‑gradient 처리되어 예측기만 업데이트된다. 추론 시에는 두 개의 윈도우‑레벨 점수를 계산한다. 첫 번째는 기존 재구성 오류 \(d_{rec}\)이며, 두 번째는 최근 \(k\) 타임스텝(“tail”)에 대해 평균을 낸 쿼리 불일치 점수 \(d_q\)이다. \(d_q\)는 다음과 같이 정의된다. \