EigenEvent 복합 데이터 스트림 이벤트 탐지 알고리즘

초록

본 논문은 복합적인 시공간 데이터를 다루는 증후감시 시스템에서 발생하는 조기 질병 발생을 탐지하기 위해, 데이터의 상관구조 변화를 eigenspace 기반으로 추적하는 EigenEvent 알고리즘을 제안한다. 동적 베이스라인 생성, 텐서 분해(HOSVD)와 SVD를 이용한 차원별·전체 변동 감지를 결합해, 기존 WSARE 대비 거짓 경보율을 크게 낮추면서도 탐지 지연을 최소화한다. 실험 결과 100개의 벤치마크 데이터셋에서 우수한 성능을 입증하였다.

상세 분석

EigenEvent는 기존 WSARE가 갖는 “하향식·상향식” 탐지 패러다임의 한계를 보완하기 위해, 데이터의 전반적인 상관구조 변화를 실시간으로 모니터링하는 중간 단계 접근법을 채택한다. 핵심 아이디어는 매일 수집되는 복합 데이터 윈도우(공간 × 특징 행렬)를 동적 베이스라인 텐서(공간 × 특징 × 시간)와 비교하는 것이다. 베이스라인 텐서는 동일한 환경 설정(요일, 날씨, 계절 등)을 고려한 과거 윈도우들을 선택적으로 결합해 구성되며, 이는 계절성·비정상성을 동시에 반영한다는 점에서 기존 정적 베이스라인 대비 큰 장점을 가진다.

데이터 전처리 단계에서 윈도우 행렬에 대해 SVD를 수행하고, 베이스라인 텐서에 대해서는 고차원 SVD(HOSVD)를 적용한다. 각각의 차원에서 첫 번째(주) 고유값과 고유벡터를 추출한 뒤, 두 집합 간의 비율(d₁ = λₛ/λ_b)과 유클리드 거리(d₂ = ‖Xₛ − X_b‖)를 계산한다. 이 두 지표는 과거 관측값들의 히스토리(v_d₁, v_d₂)와 비교해 z‑score로 정규화되며, 최종적으로 p‑value로 변환해 알람 여부를 판단한다. 고유값 비율은 전체 데이터 변동(분산)의 증감을 포착하고, 고유벡터 거리는 특정 차원(예: 특정 지역·특징)의 방향성 변화를 감지한다. 따라서 EigenEvent는 “전체적인 변동”과 “특정 차원별 변동”을 동시에 감시할 수 있다.

알고리즘의 장점은 다음과 같다. 첫째, 다중 선형·다중 경로 상관관계를 고차원 텐서 분해를 통해 압축함으로써 잡음에 강한 특징을 갖는다. 둘째, 동적 베이스라인 생성은 환경 변화(주말·휴일·날씨 등)를 반영하므로, 비정상적인 변동을 보다 정확히 구분한다. 셋째, 통계적 유의성을 p‑value 형태로 제공함으로써 기존 WSARE가 Monte‑Carlo 시뮬레이션에 의존하던 부분을 보다 효율적인 공정 관리 기법으로 대체한다.

실험에서는 100개의 합성·실제 데이터셋을 이용해 탐지 지연(Lag)과 거짓 경보율(FAR)을 비교하였다. 결과는 WSARE 2.0·2.5·3.0에 비해 평균 탐지 지연은 약 10 % 감소하고, 거짓 경보율은 30 % 이상 감소하였다. 특히, 환경 설정이 급격히 변하는 상황에서도 EigenEvent는 안정적인 성능을 유지했으며, 이는 동적 베이스라인과 고유벡터 기반 차원별 감시가 복합 데이터의 비정상성을 효과적으로 포착함을 시사한다.

한계점으로는 고유벡터 매칭이 단일 방향성만을 고려한다는 점과, 베이스라인 텐서의 차원 수가 증가할 경우 HOSVD 연산 비용이 급증한다는 점을 들 수 있다. 향후 연구에서는 온라인 텐서 업데이트 기법과 다중 고유벡터(다중 모드) 비교를 도입해 연산 효율성을 개선하고, 알람 원인 설명을 위한 서브그룹 탐색 모듈을 추가할 계획이다.