마이크로서비스 이상 탐지를 위한 클러스터링 기반 모델

초록

본 논문은 클라우드 환경의 가상 머신(VM)에서 발생하는 이상 징후를 실시간으로 포착하기 위해, CPU·메모리·네트워크 등 다차원 성능 지표를 클러스터링 기법으로 분석하는 모델을 제안한다. 비지도 학습 기반의 군집화와 이상치 탐지를 결합해 테스트·프로덕션 환경 모두에서 높은 검출 정확도와 낮은 오탐률을 달성했으며, 운영 효율성 및 비용 절감 효과를 입증하였다.

상세 분석

이 논문은 마이크로서비스 아키텍처에서 개별 VM이 수행하는 작업이 복잡하고 동적이라는 점에 주목한다. 전통적인 임계값 기반 모니터링은 정상적인 부하 변동을 잡아내지 못하고, 라벨링된 데이터가 부족한 상황에서는 지도학습 적용이 어려운 한계가 있다. 이를 해결하기 위해 저자는 비지도 학습인 클러스터링을 핵심 엔진으로 채택하였다. 구체적으로, 수집된 시계열 메트릭(CPU 사용률, 메모리 사용량, 디스크 I/O, 네트워크 트래픽 등)을 먼저 정규화하고, 차원 축소 기법인 PCA 혹은 t‑SNE를 적용해 고차원 데이터를 저차원 공간에 투사한다. 이후 DBSCAN이나 OPTICS와 같은 밀도 기반 클러스터링을 수행해 정상적인 운영 패턴을 여러 군집으로 구분한다.

클러스터링 결과, 각 군집은 특정 워크로드 혹은 서비스 유형에 대응하는 특성을 갖는다. 새로운 데이터 포인트가 기존 군집에 속하지 못하거나, 군집 중심으로부터 일정 거리 이상 벗어나는 경우 이를 이상치로 간주한다. 논문은 이상치 점수(Anomaly Score)를 거리 기반으로 정의하고, 임계값을 동적으로 조정해 오탐을 최소화한다.

실험에서는 공개된 Azure VM 메트릭 데이터셋과 자체 구축한 사내 테스트베드 두 가지 시나리오를 사용했다. 첫 번째 시나리오에서는 인위적으로 CPU 스파이크와 메모리 누수를 주입해 라벨링된 이상 사례를 만들었고, 두 번째 시나리오에서는 실제 서비스 장애 로그와 연계해 실시간 탐지 성능을 검증했다. 평가 지표는 정밀도, 재현율, F1‑score, 그리고 평균 탐지 지연시간(Latency)이다. 클러스터링 기반 모델은 기존의 One‑Class SVM, Isolation Forest와 비교했을 때, 정밀도 0.94, 재현율 0.91, 평균 지연시간 3초 이하를 기록하며 우수한 성능을 보였다.

또한, 모델의 확장성을 위해 온라인 클러스터링(Incremental DBSCAN)과 스트리밍 데이터 파이프라인(Apache Flink)을 결합해 실시간 처리량을 10,000건/초 수준으로 유지했다. 비용 측면에서는 기존 상용 APM 솔루션 대비 약 40%의 운영 비용 절감 효과를 보고하였다.

한계점으로는 초기 클러스터링 단계에서 파라미터(ε, 최소 샘플 수 등) 선택이 민감하게 작용한다는 점과, 급격한 워크로드 변동 시 군집 재학습이 필요하다는 점을 언급한다. 향후 연구에서는 메타러닝을 통한 파라미터 자동 튜닝과, 컨테이너 레벨 메트릭을 포함한 다계층 이상 탐지 프레임워크 구축을 제안한다.