패치 기반 메모리 게이트를 활용한 다중 도메인 시계열 이상 탐지 모델 MOMEMTO

초록

MOMEMTO는 사전 학습된 시계열 기반 변환기(MOMENT)의 인코더에 패치‑단위 메모리 게이트를 결합한 모델이다. 패치‑레벨 메모리를 다중 도메인 데이터에 대해 공동 학습함으로써 재구성 기반 이상 탐지 시 과잉 일반화를 억제하고, 23개의 단변량 벤치마크에서 AUC·VUS 모두 기존 방법보다 우수한 성능을 보였다. 특히 제한된 라벨 데이터 환경인 few‑shot 설정에서도 백본 변환기의 성능을 크게 끌어올렸다.

상세 분석

본 논문은 최근 시계열 기반 변환기(TFM)가 보여주는 강력한 일반화 능력을 이상 탐지에 그대로 적용하려 할 때 발생하는 “과잉 일반화(over‑generalization)” 문제를 핵심으로 다룬다. 기존 재구성 기반 모델은 정상 패턴을 잘 학습하지만, 디코더의 높은 용량이나 인코더가 이상 특성을 포착하게 되면 비정상 데이터까지도 낮은 재구성 오차를 보이며 탐지를 방해한다. 이를 해결하기 위해 메모리 모듈을 도입한 MEMTO가 제안됐지만, 메모리 초기화에 민감하고 데이터당 별도 모델을 학습해야 하는 비용 문제가 있었다.

MOMEMTO는 두 가지 혁신을 제시한다. 첫째, MOMENT의 사전 학습된 T5‑구조 인코더를 그대로 사용함으로써 메모리 초기화에 필요한 고품질 표현을 확보한다. 인코더는 입력 시계열을 고정 길이 패치로 분할하고, 각 패치를 토큰화해 자체‑어텐션으로 컨텍스트를 학습한다. 둘째, 기존의 포인트‑레벨 메모리를 패치‑레벨 메모리로 전환한다. 메모리 아이템은 N×d_model 형태의 텐서이며, 각 패치 위치에 대응하는 프로토타입을 저장한다. 초기화 단계에서는 도메인별로 무작위 샘플을 추출해 평균값을 메모리 아이템으로 설정하고, L2 정규화로 안정성을 확보한다.

메모리 연산은 다섯 단계로 구성된다. ① Memory Alignment: 마스크를 이용해 관측된 패치만을 추출하고, 메모리와 쿼리를 동일한 차원(P×d_model)으로 정렬한다. ② Memory Update: 쿼리와 메모리 간 코사인 유사도를 계산해 상위 K개의 메모리 아이템만 선택하고, 선택된 아이템에 대해 쿼리‑기반 어텐션을 수행한다. 업데이트는 가중치 ψ(k)=σ(m(k)Uψ+v(k)Wψ) 로 조절되어, 기존 메모리와 새로운 정보가 비율적으로 혼합된다. ③ Query Update: 선택된 메모리 아이템 각각에 대해 어텐션을 적용해 중간 표현 ˜q(k)를 얻고, 유사도 가중합으로 최종 쿼리 ˜q를 만든다. ④ Query Alignment: ˜q와 원본 q를 패치‑단위로 결합(