연속시간 이벤트 관계 모델 CT NOR

초록

CT‑NOR는 연속적인 시간 축에서 발생하는 이벤트들의 인과관계를 확률적으로 모델링하고, EM 알고리즘으로 파라미터를 추정한 뒤 가설 검정을 통해 의존성 탐지와 변화점 감지를 수행하는 프레임워크이다. 네트워크 로그에 적용해 실험한 결과, 기존 방법보다 높은 정확도로 의존 관계와 비정상 행동을 식별한다.

상세 분석

CT‑NOR(Continuous Time Noisy‑OR)는 이산 시간 모델인 noisy‑or를 연속 시간으로 일반화한 확률 생성 모델이다. 기본 가정은 각 원인 이벤트가 독립적인 포아송 프로세스로 발생하며, 이들이 목표 이벤트를 유발할 때 지연 시간은 특정 확률 밀도 함수(예: 지수 분포)로 모델링된다는 점이다. 따라서 목표 이벤트의 발생 시점은 모든 원인 이벤트가 제공하는 “시그널”의 최소값으로 정의되며, 이는 noisy‑or의 논리적 OR 연산을 시간적 최소값 연산으로 대체한 형태와 일치한다.

모델 파라미터는 두 종류로 나뉜다. 첫째는 각 원인‑목표 쌍에 대한 전이 강도(λ)와 지연 분포 파라미터(θ)이며, 둘째는 배경 노이즈를 설명하는 베이스 라인 포아송 강도(μ)이다. 논문은 관측된 타임스탬프 시퀀스로부터 이러한 파라미터를 추정하기 위해 기대‑최대화(EM) 알고리즘을 설계한다. E‑스텝에서는 현재 파라미터 하에 각 원인 이벤트가 특정 목표 이벤트를 “유발”했을 확률(책임 할당)을 계산하고, M‑스텝에서는 책임 값들을 가중치로 사용해 λ, θ, μ를 업데이트한다. 이 과정은 포아송 과정의 충분통계량을 활용해 닫힌 형태의 업데이트 식을 얻을 수 있어 계산 효율성이 높다.

가설 검정 단계에서는 두 가지 주요 질문을 다룬다. 첫째는 “특정 원인 이벤트가 목표 이벤트에 영향을 미치는가?”이다. 이를 위해 원인‑목표 쌍에 대한 λ=0(무관) 가설과 λ>0(관계 존재) 대립 가설을 설정하고, 로그우도비(LR) 검정을 수행한다. 검정 통계량은 EM 과정에서 얻은 최대우도값을 이용해 근사적으로 계산되며, 부트스트랩이나 χ² 근사를 통해 p‑값을 추정한다. 둘째는 “시간에 따라 모델 파라미터가 변했는가?” 즉 변화점 탐지이다. 데이터 스트림을 일정 윈도우로 슬라이딩하면서 각 구간별 파라미터를 독립적으로 추정하고, 인접 구간 간의 로그우도 차이를 검정한다. 급격한 차이가 감지되면 해당 시점을 변화점으로 보고, 시스템 구성 변화나 장애 발생을 알리는 신호로 활용한다.

실험에서는 Microsoft Research Cambridge의 대규모 네트워크 트레이스(수십만 건의 로그)를 사용했다. 원인 이벤트는 서버 간 패킷 전송, 파일 시스템 접근, 서비스 호출 등이며, 목표 이벤트는 오류 발생이나 성능 저하 신호로 정의되었다. CT‑NOR는 기존의 시계열 상관 분석이나 이산 noisy‑or 기반 방법에 비해 높은 정밀도와 재현율을 보였으며, 특히 지연 분포를 명시적으로 모델링함으로써 원인‑결과 간의 실제 시간 차이를 정량화할 수 있었다. 또한 변화점 검증에서는 시스템 업데이트 시점이나 네트워크 장애 발생을 정확히 포착해 실시간 모니터링에 유용함을 입증했다.

마지막으로 논문은 CT‑NOR와 전통적인 noisy‑or 사이의 수학적 관계를 정리한다. 시간 축을 충분히 작은 구간으로 이산화하면, 각 구간 내 포아송 발생 확률이 매우 낮아지므로 최소 지연값 연산이 OR 연산과 동등해진다. 따라서 CT‑NOR는 noisy‑or의 연속시간 버전이라 할 수 있으며, 이론적 일관성을 확보하면서도 연속적인 이벤트 흐름을 자연스럽게 다룰 수 있다.

이러한 기여는 네트워크·분산 시스템 모니터링뿐 아니라, 의료 이벤트, 금융 거래 등 연속시간 데이터에 대한 인과 관계 분석에도 확장 가능성을 제시한다.