노이즈와 제한된 피드백 속 연속 이상 탐지

초록

본 논문은 순차적으로 관측되는 잡음이 섞인 데이터에서 이상을 탐지하기 위한 두 단계(필터링·헤징) 알고리즘을 제안한다. 필터링 단계에서는 이전 관측을 기반으로 현재 측정값의 사후 확률을 추정하고, 헤징 단계에서는 사용자 피드백을 이용해 적응형 임계값을 조정한다. 제안 방법은 지수족 모델과 온라인 볼록 최적화를 결합해 사전 분포를 계산하지 않으면서도 정적·점진적으로 변하는 분포에 대해 서브선형 regret을 달성한다. 이론적 보증과 함께 합성 데이터와 Enron 이메일 데이터셋을 통한 실험 결과를 제시한다.

상세 분석

이 논문은 연속적인 데이터 스트림에서 이상을 실시간으로 탐지하는 문제를 두 개의 핵심 모듈, 즉 ‘필터링’과 ‘헤징’으로 구조화한다. 필터링 단계는 관측된 시퀀스 (x_{1},\dots ,x_{t})에 대해, 이전 관측값과 잡음 모델을 이용해 현재 측정값 (x_{t})가 발생할 사후 확률(또는 믿음) (\hat{p}{t})를 추정한다. 여기서 저자들은 지수족(Exponential family) 분포를 기본 모델로 채택한다. 지수족은 충분통계와 자연 파라미터 (\theta)를 통해 (\log p(x|\theta)=\langle \theta, T(x)\rangle - A(\theta)) 형태로 표현되며, 이는 온라인 볼록 최적화(Online Convex Programming, OCP)와 자연스럽게 결합된다. 구체적으로, 매 라운드마다 손실 함수 (\ell{t}(\theta)= -\log p_{\theta}(x_{t}))를 정의하고, OCP의 프라이멀-듀얼 업데이트를 통해 (\theta_{t})를 갱신한다. 이 과정은 사후 분포를 전부 계산하지 않아도 되며, 계산 복잡도는 파라미터 차원에 선형적으로 스케일한다.

헤징 단계에서는 추정된 믿음 (\hat{p}{t})와 시간에 따라 변하는 임계값 (\tau{t})를 비교한다. 사용자는 특정 시점에 ‘이상’이라고 판단된 경우 피드백 (y_{t}\in{0,1})을 제공한다. 논문은 이 피드백을 이용해 (\tau_{t})를 온라인 서브그라디언트 방법으로 조정한다. 즉, 손실 (\ell^{h}{t}(\tau)=\mathbf{1}{\hat{p}{t}>\tau}\cdot (1-y_{t}) + \mathbf{1}{\hat{p}{t}\le \tau}\cdot y{t})를 정의하고, (\tau_{t+1}=\Pi_{