그래프 기반 모델 앙상블을 활용한 온라인 시계열 이상 탐지 프레임워크
초록
본 논문은 스트리밍 환경에서 발생하는 이질적인 시계열 데이터에 대해, 동적 모델 풀과 그래프 구조를 이용해 모델을 자동 선택·갱신하고, 커뮤니티 탐지를 통해 최적의 앙상블을 구성하는 GDME라는 무감독 온라인 이상 탐지 프레임워크를 제안한다. 그래프의 구조 변화를 감시함으로써 개념 드리프트를 신속히 포착하며, 7개의 이질적인 데이터셋에서 기존 방법 대비 최대 24%의 F1 점수 향상을 달성하고 계산 효율성도 유지한다.
상세 분석
GDME는 기존 온라인 이상 탐지 기법이 갖는 두 가지 근본적인 한계를 동시에 해결한다. 첫째, 스트리밍 데이터는 시점마다 분포가 변하거나 새로운 패턴이 등장하는 개념 드리프트(concept drift)를 겪는다. 대부분의 기존 방법은 고정된 모델 혹은 단일 적응 메커니즘에 의존해 드리프트에 대한 대응력이 떨어진다. GDME는 ‘동적 모델 풀(dynamic model pool)’을 도입해, 성능이 저하된 모델을 주기적으로 가지치기(pruning)하고, 최신 데이터 특성을 반영한 새로운 모델을 삽입한다. 이 과정은 온라인 환경에서도 실시간으로 수행될 수 있도록 경량화된 평가 지표와 업데이트 규칙을 설계했다는 점이 특징이다.
둘째, 이질적인 시계열은 서로 다른 통계적 특성(계절성, 트렌드, 잡음 수준 등)을 가지고 있어 단일 모델로는 모든 특성을 포착하기 어렵다. GDME는 모델 간 관계를 ‘동적 그래프(dynamic graph)’로 형상화한다. 노드는 개별 모델을, 엣지는 모델 출력 간 상관관계 혹은 상호 보완성을 나타낸다. 그래프는 스트리밍 데이터에 따라 지속적으로 재구성되며, 이를 기반으로 ‘커뮤니티 탐지(community detection)’ 알고리즘을 적용해 상호 보완적인 모델 집합을 자동으로 추출한다. 선택된 서브셋은 가중 평균(weighted averaging) 혹은 투표(voting) 방식으로 앙상블되어 최종 이상 점수를 산출한다.
특히, GDME는 그래프 구조 자체를 개념 드리프트 감시 지표로 활용한다. 그래프의 노드·엣지 분포, 커뮤니티 수, 모듈러티(modularity) 등 메트릭이 급격히 변하면 데이터 분포가 변했음을 의미한다. 이러한 변화를 감지하면 모델 풀의 재구성 트리거가 활성화돼, 기존 모델을 교체하거나 새로운 모델을 학습한다. 따라서 모델 업데이트와 드리프트 탐지가 긴밀히 연계되어, 별도의 드리프트 검출 모듈이 필요 없는 일원화된 적응 메커니즘을 제공한다.
실험에서는 7개의 서로 다른 도메인(산업 설비, 네트워크 트래픽, 금융 시계열 등)에서 24%까지 F1 점수 향상을 기록했으며, 평균 앙상블 대비 8~12%의 추가 이득을 보였다. 계산 복잡도 측면에서는 그래프 업데이트와 커뮤니티 탐지를 효율적인 근사 알고리즘으로 구현해, 초당 수천 개의 데이터 포인트를 처리할 수 있는 수준의 실시간 성능을 유지했다.
이러한 설계는 모델 다양성 확보, 드리프트 감지, 그리고 실시간 연산 효율성을 동시에 만족시키는 드문 사례이며, 특히 산업 현장처럼 데이터 특성이 급변하고 고신뢰성이 요구되는 환경에 적합하다. 향후 연구에서는 그래프 구조에 딥러닝 기반 노드 임베딩을 도입하거나, 강화학습을 통해 모델 선택 정책을 최적화하는 방향이 기대된다.
댓글 및 학술 토론
Loading comments...
의견 남기기