저차원 변형 트랜스포머를 활용한 다변량 시계열 이상 탐지와 원인 추적

초록

본 논문은 트랜스포머 인코더가 다변량 시계열(MTS) 데이터를 학습하는 방식을 전통적인 시공간 AR 모델과 연결짓고, 자기‑주의 행렬에 저‑랭크 제약을 부여한 Attention Low‑Rank Transformer(ALoRa‑T)를 제안한다. ALoRa‑T는 새로운 이상 점수인 Attention Low‑Rank Score를 통해 이상을 정량화하고, 기여 가중치(Eij, Cij)를 활용한 ALoRa‑Loc을 통해 어느 변수에서 이상이 발생했는지를 정확히 추적한다. 실험 결과, 기존 최첨단 방법들을 크게 능가함을 보인다.

상세 분석

본 연구는 먼저 트랜스포머 인코더의 내부 연산을 수학적으로 전개하여, 임베딩 단계가 가중 이동 평균(VMA) 필터와 동등함을 증명한다. 이는 각 시점의 임베딩 벡터가 주변 시계열 값들의 선형 결합으로 표현된다는 의미이며, 전통적인 시계열 전처리와 직접적인 연결 고리를 제공한다. 이어서 자기‑주의 메커니즘을 풀어보면, 쿼리·키·밸류 행렬을 통한 점곱과 소프트맥스 연산이 시간 차원에 대한 동적 가중치 a_tq를 생성한다. 저자는 이 가중치를 고정된 AR 모형의 계수와 동일시하고, 트랜스포머가 입력에 따라 실시간으로 가중치를 재계산한다는 점에서 ‘Space‑Time Autoregressive(ST‑AR)’ 구조를 갖는다고 주장한다. 스킵 연결이 포함된 경우, 여러 층의 ST‑AR 프로세스가 선형 결합되어 최종 표현을 만든다. 이는 기존 트랜스포머가 복잡한 비선형 변환을 수행한다는 일반적인 인식과 달리, 본질적으로는 선형 결합 기반의 시공간 모델임을 시사한다.

이론적 통찰을 바탕으로 저자는 자기‑주의 행렬에 저‑랭크 제약을 도입한다. 저‑랭크 정규화는 (i) 행렬의 유효 차원을 감소시켜 계산 비용을 크게 절감하고, (ii) 정상 패턴이 저‑랭크 구조에 잘 맞는 반면, 이상 패턴은 행렬의 랭크를 급격히 상승시킨다는 경험적 사실을 이용한다. 따라서 각 윈도우에 대해 자기‑주의 행렬의 랭크를 측정한 ‘ALoRa‑Score’는 이상 여부를 직접적인 스칼라 값으로 제공한다.

이상 위치 추적을 위해 저자는 두 종류의 기여 가중치 Eij(입력 시계열 i가 잠재 특징 j에 미치는 영향)와 Cij(잠재 특징 j가 재구성 출력 시계열 i에 미치는 영향)를 정의한다. 이 가중치들은 역전파 없이도 행렬 연산만으로 추출 가능하며, 이상이 발생한 입력 시계열이 어떻게 잠재 공간을 거쳐 출력에 전파되는지를 정량화한다. ALoRa‑Loc은 Eij·Cij의 곱을 이용해 각 변수별 이상 기여도를 계산하고, 이를 기반으로 가장 큰 기여를 보인 변수들을 이상 원인으로 지정한다.

실험에서는 공개된 다변량 시계열 벤치마크와 실제 산업 데이터(전력망, 물 공급망 등)를 사용해 ALoRa‑T와 ALoRa‑Loc을 평가한다. 평가 지표는 기존의 point‑adjustment F1 점수뿐 아니라, 세그먼트‑레벨 PR‑AUC와 변수‑별 정확도 등을 포함한다. 결과는 ALoRa‑T가 기존 트랜스포머 기반 모델(Anomaly‑Transformer, MEMTO 등)보다 평균 8~12% 높은 F1 점수를 기록하고, ALoRa‑Loc은 변수‑별 재구성 오차 기반 방법에 비해 15% 이상 높은 정확도로 이상 원인을 식별한다는 점을 보여준다. 또한 저‑랭크 제약 덕분에 메모리 사용량이 40% 이상 감소하고, 추론 속도가 2배 가량 빨라 실시간 모니터링에 적합함을 입증한다.

이 논문은 트랜스포머가 시계열 데이터를 처리하는 메커니즘을 통계적 모델과 연결함으로써 이론적 투명성을 제공하고, 저‑랭크 자기‑주의와 기여 가중치를 활용한 새로운 이상 탐지·위치 추적 프레임워크를 제시한다. 이는 안전‑중요 시스템에서 신뢰성 있는 이상 진단을 구현하려는 연구자와 실무자에게 중요한 방향성을 제시한다.