대규모 클러스터 로그에서 이벤트 상관관계 마이닝을 위한 LogMaster

초록

LogMaster는 노드·애플리케이션·이벤트 유형·심각도 등 다중 속성을 가진 시스템 로그에서 이벤트 간 상관관계를 추출하고, 이를 기반으로 장애를 예측하는 프레임워크이다. 슬라이딩 윈도우 기반의 신뢰도 지표와 Apriori‑LES/Apriori‑simiLES 알고리즘을 이용해 이벤트 규칙을 도출하고, 이벤트 상관관계 그래프(ECG)로 시각화·예측한다.

상세 분석

본 논문은 전통적인 거래 데이터와 달리 시간 순서와 다중 속성이 결합된 시스템 로그의 특성을 고려한 새로운 상관관계 마이닝 방법을 제시한다. 핵심 기여는 네 가지로 요약된다. 첫째, 로그 내 이벤트가 시간 윈도우 안에서 서로 교차(interleaved)될 수 있음을 전제로, ‘지원 횟수(support count)’와 ‘후행 횟수(posterior count)’를 이용한 신뢰도(confidence) 지표를 정의한다. 이 지표는 A 이벤트가 발생했을 때 B 이벤트가 뒤따를 확률을 정량화한다. 둘째, 이러한 지표를 기반으로 두 가지 Apriori‑계열 알고리즘을 설계한다. Apriori‑LES는 (k‑1)‑ary 인접 부분집합이 모두 빈번할 때만 k‑ary 후보를 생성함으로써 후보 탐색 공간을 크게 축소한다. Apriori‑simiLES는 실제 로그 분석에서 2‑ary 규칙이 동일 노드·애플리케이션·유형에 집중되는 현상을 관찰하고, 2‑ary 규칙만을 추출하도록 제한해 연산 비용을 추가로 절감한다. 셋째, 도출된 이벤트 규칙을 ‘이벤트 상관관계 그래프(ECG)’라는 추상화 구조에 매핑한다. ECG는 노드가 이벤트, 간선이 규칙(조건→결과)이며, 그래프 탐색을 통해 특정 이벤트 발생 시 연쇄적인 장애를 예측한다. 넷째, 두 실제 클러스터(Hadoop 기반 클라우드와 LANL HPC) 로그에 적용해 예측 정확도 78 %~81 %를 달성함으로써 실용성을 입증한다. 그러나 논문은 (1) 시간 윈도우 크기와 임계값 선택이 결과에 미치는 민감도 분석이 부족하고, (2) 실시간 스트리밍 환경에서의 적용 가능성을 구체적으로 다루지 않은 점이 아쉽다. 또한, 이벤트 유형 간 인과관계를 밝히는 정성적 해석이 제한적이며, 복합적인 원인 분석을 위해서는 추가적인 로그 정규화와 도메인 지식이 필요할 것으로 보인다. 전반적으로 LogMaster는 대규모 시스템 로그에서 다중 속성을 고려한 상관관계 마이닝에 대한 중요한 시도이며, ECG 기반 예측 모델은 향후 자동화된 장애 진단 시스템에 통합될 가능성을 제시한다.